#Diffusion Language Model

比起Autoregressive Language Model, 我认为 Diffusion Language Model(DLM)更正确。

维特根斯坦的「家族相似」概念和 DLM 中往词语向量加高斯噪声的思路有所呼应。

比起位置编码的Transformer,DLM需要位置真的是位置,才能从中间生成文本。