本节由 AI 整理生成，仅供参考。

#DLM 与 A2D

来源:

• minimind discussion #618 (jingyaogong) — 完整实现
• https://jingyaogong.github.io/space/dllm_intro — 原理 + 可视化 (memo-more.md 引用)
• 论文见文末

##1. AR 的数学形式

p(x) = ∏_{i=1}^{N} p(x_i | x_<i)copy

文本被分解成一条严格有序的决策链。第 i 个 token 只依赖左侧上下文, 信息流单向。训练和推理目标完全一致: 都是 next-token prediction。

AR 的三个问题:

##2. DLM 怎么做

p(x) = ∏_{i=1}^{N} p(x_i | x)      ← 条件是整个序列, 双向copy

训练: 随机遮住一部分 → 双向预测 → 只在被遮位置算 loss。 推理: 生成区初始化为全 MASK → 每步全序列 forward → 按置信度揭示。

揭示顺序由置信度决定, 不是位置索引。 模型会对同一个位置反复预测。

##3. 从连续扩散到离散扩散

图像扩散用连续高斯噪声; 文本没有自然的连续噪声空间, 所以用 MASK 当离散噪声。

没有 ELBO, 没有 log-SNR, 没有 weighting schedule。 就是一个 linear-time schedule 的 weighted cross-entropy。

##4. 训练: 4 步

Step 1  采 t  ~ U[0, 1)
Step 2  按比例 t 随机 mask **assistant 区** (prompt 区保持不变)
Step 3  双向 forward, 预测所有被遮位置
Step 4  只在 MASK 位置算 losscopy

L = E_t [ Σ_{i∈masked} (1/p_mask) · CE(f_θ(x_t)_i, x_0(i)) ] / N_validcopy

loss = F.cross_entropy(logits, labels, reduction='none')
loss = (loss[corruption_mask] / p_mask[corruption_mask]).sum() / n_validcopy

除以 p_mask 是为了平衡不同 t 下的梯度贡献: t 小时被 mask 的位置少但每个更关键, t 大时反之。不除的话 loss 会偏向大 t。

###和 BERT / AR 的区别

###训练数据格式

input_ids: [<user>] [你好] [<assistant>] [我是] [AI] [助手] [<pad>] [<pad>]
labels:    [-100]   [-100] [-100]       [我是] [AI] [助手] [-100] [-100]
                        ↑ 只有这些位置参与训练copy

SFT 的 mask 区域 = assistant 回答区。 prompt 不能被 mask —— 否则模型看不到自己在回答什么。

##5. 推理: 两个关键点

初始化:  [prompt 固定] [M M M M M M M M]   ← 生成区全 MASK

每一步:
  1. 对**全序列** forward (不只是当前 block)
  2. 算每个 MASK 位置的置信度
  3. 揭示 top-k, k = 剩余 MASK 数 / 剩余步数   ← 动态计算, 不是固定常数
  4. 循环copy

关键点 1 — 每步揭示数动态计算:

n_unmask = remaining_masks / remaining_stepscopy

不是固定 top-k。

关键点 2 — 每步都全序列 forward。 双向注意力要用全部已知上下文, 不能只算当前 block。 无 KV cache。 这是 DLM 推理比 AR 慢的根源 (实测: 双向比因果慢 38%)。

##6. block_size 是连续旋钮, 不是模式开关

block_size=1 时 dLM 精确退化成 AR。 这是理解 dLM 的关键直觉 —— 它是一个连续谱的一端。

##7. 采样控制

###Gumbel-Max (比 softmax+multinomial 更稳)

def add_gumbel_noise(logits, temperature):
    noise = torch.rand_like(logits, dtype=torch.float64)
    return logits.exp() / ((-torch.log(noise)) ** temperature)copy

低精度数值条件下比 softmax + multinomial 稳定, 适合离散采样。 temperature=0 时直接返回原 logits, 退化成 argmax (贪心解码)。

###CFG (classifier-free guidance)

logits = logits_uncond + (1 + s) * (logits_cond - logits_uncond)copy

需要两次 forward (有条件 / 无条件), 成本翻倍。

###调参建议

##8. A2D: 两步转换

已训练的 AR 权重
   ↓ 1. 关闭因果约束   is_causal=True → False
   ↓ 2. 扩展词表        vocab += [MASK]
dLM 模型 → 只需微调copy

继承 AR 的全部语言知识。 可以冻结 FFN 只调 attention。

##9. AR vs dLM 完整对比

结论不是「dLM 已取代 AR」, 而是: dLM 把语言生成从严格的顺序链式过程, 扩展为可迭代、可全局重评估的推理过程。

##10. 关键实验结论: 只需要训 Q/K

作者原话:

FFN 层主要负责存储知识, 而 AR → dLM 的核心变化在于注意力模式 (从因果变为双向), 因此冻结 FFN 仅训练 Attention 层即可取得不错的效果。 更极端地, 只训练 Q、K 投影也能获得一个可用的 dLM。

训练命令里直接给了 --freeze_ffn 开关。

为什么合理: Q/K projection 决定「每个位置看哪里」。AR 只学会了「往左看」, 现在要「往右也看」, 没学过。FFN 和 V/O 的功能不变。

可证伪 — 值得重做消融 (全参 / freeze_ffn / 只 QK 三档)。

##11. 实测结果 (作者自曝, 负面)

• 63.91M 参数, 1.6GB SFT 数据, 训练 1 小时
• 生成结果很差, 大量重复

💬: 请介绍一下你自己
🧠: 作为我我我具备学习和解决问题的能力,并能够完成各种任务。我能够完成各种
    任务,包括但不限于学习知识、解决问题、、学习、写作、等。copy

作者自己的判断:

dLM 与 AR 在生成质量上仍存在显著差距。Discrete Diffusion 不像 Continuous Diffusion 那样有完备的数学框架, 其本质更接近 Masked Prediction 的延伸。 工程层面: 双向注意力要求每一步去噪都对 Block 内所有 token 做全量 Attention, 无法通过 KV Cache 增量解码。CoT 推理、并发解码远未解决。

别期待 A2D 之后模型变强。 期待的是「学到 diffusion 的机制」。

##12. 作者的项目结构 —— 直接对应本项目的 T2

dllm/
├── model/model_qwen3_dllm.py    ← 是 Qwen3 版!
├── dataset/lm_dataset.py
├── trainer/train_dllm.py
└── eval_dllm.pycopy

# 训练
torchrun --nproc_per_node 2 trainer/train_dllm.py \
    --learning_rate 1e-4 --freeze_ffn --use_compile 1 \
    --batch_size 16 --epochs 5

# 推理
python eval_dllm.py --block_size 8 --steps 16 --temperature 0.3 --top_k 50copy

作者已经做过 Qwen3 版。 我们的 T2 线 (对 Qwen3-0.6B 做 A2D) 是有先例的。

##13. 开放问题 (作者的清单)

• 长文本 block 策略 — 如何让 block 边界语义化, 而不是定长切分
• 与 speculative decoding 结合 — draft/verify 思路 + 多步去噪
• 多模态离散扩散 — 文本/图像/音频统一 token 化后共享同一套范式
• 训练效率 — 能否用更少步数逼近 AR 的生成质量

##14. 参考文献

权重: dllm_768.pth (ModelScope / HF jingyaogong/minimind-3-pytorch)