扩散语言模型

本节由 AI 整理生成,仅供参考。

Pretrain / SFT / RL

653 字 2 分钟

三个训练阶段的区别、数据格式与 rollout 顺序

Vocab / Tokenizer / Mask Token

972 字 2 分钟

词表大小、分词器,以及 DLM 的 mask token 三种方案

DLM 与 A2D

2339 字 5 分钟

扩散语言模型的数学形式、训练四步、采样控制与 A2D 转换

Qwen 架构

579 字 2 分钟

Qwen2 / Qwen3 的实测配置差异与三个坑