#Diffusion Language Model
比起Autoregressive Language Model, 我认为 Diffusion Language Model(DLM)更正确。
维特根斯坦的「家族相似」概念和 DLM 中往词语向量加高斯噪声的思路有所呼应。
比起位置编码的Transformer,DLM需要位置真的是位置,才能从中间生成文本。
Home » 开发的灵感 » Diffusion Language Model
122 字 1 分钟
扩散语言模型
比起Autoregressive Language Model, 我认为 Diffusion Language Model(DLM)更正确。
维特根斯坦的「家族相似」概念和 DLM 中往词语向量加高斯噪声的思路有所呼应。
比起位置编码的Transformer,DLM需要位置真的是位置,才能从中间生成文本。