LLM Lab
本节由 AI 整理生成，仅供参考。
PLAN — LLM lab, from scratch
3168 字 7 分钟
分阶段计划：环境、预训练、后训练与 RL
分词器 / Tokenizer
2547 字 6 分钟
词表 6400 的来源、两套 API 的分工与实测更正
模型结构 / Model
2842 字 6 分钟
MiniMind-3 的规格、一次前向的顺序与五个静默出错的坑
数据管线 / Data
2711 字 6 分钟
从 JSONL 语料到 (input_ids, labels) 张量，含实测数字
测量 / Measurement
2291 字 5 分钟
四个测量 bug、累计 tok/s 的陷阱与有效算力
MiniMind — 项目解剖
4057 字 9 分钟
上游项目的结构：trainer 阶梯、model 与 dataset 的取舍
MiniMind 训练阶梯
3428 字 7 分钟
训练顺序：每步做什么、要什么、产出什么、多久