扩散语言模型
本节由 AI 整理生成,仅供参考。
Pretrain / SFT / RL
653 字 2 分钟
三个训练阶段的区别、数据格式与 rollout 顺序
Vocab / Tokenizer / Mask Token
972 字 2 分钟
词表大小、分词器,以及 DLM 的 mask token 三种方案
DLM 与 A2D
2339 字 5 分钟
扩散语言模型的数学形式、训练四步、采样控制与 A2D 转换
Qwen 架构
579 字 2 分钟
Qwen2 / Qwen3 的实测配置差异与三个坑