从问题开始
先看到旧方法撞上的墙，再引入新名词。KDA、MLA、MoE 都不再是凭空掉下来的缩写。
NEW / CHAPTER 11 REASONING & TEST-TIME SCALING
“多想一会儿”，到底把计算花到了哪里？
把推理拆成结果、覆盖、选择、过程、预算、优化、分布与系统八张账， 从 CoT、verifier 与 GRPO 一路走到 DeepSeek-R1、Kimi k1.5 与 K3 MOPD。
- LINEAGE
- 2021 → 2026
- PAPERS
- 30 篇一手来源
- LAB
- 预算 · GRPO · 九教师
NEW / CHAPTER 06 SPARSE EXPERTS
2.8T 参数，不等于每个 Token 跑 2.8T
把 MoE 拆成容量、激活计算、路由、负载、通信与稳定性六张账， 从 Switch、DeepSeekMoE、Loss-Free、LatentMoE 一路走到 K3 Stable LatentMoE。
- LINEAGE
- 1991 → 2026
- PAPERS
- 19 篇一手来源
- LAB
- 8 架构 · 4 平衡策略
CHAPTER 07 LONG CONTEXT
一百万 Token，不是一扇更大的窗
把长上下文拆成计算、缓存、位置、状态容量与系统五张账， 沿 26 篇一手论文走完 FlashAttention、MLA、Delta Rule、KDA、Kimi K3 与 DeepSeek-V4。
- LINEAGE
- 2019 → 2026
- VISUALS
- 10+ 机制图
- LAB
- 8 种策略 · 4 档长度
00 WHY THIS ATLAS
不是论文清单，而是一条能走通的理解路径
大模型知识最难的地方不是资料少，而是资料之间的桥断了：初学解释省略公式，论文省略历史， 系统报告又默认你已经理解模型。LLM Atlas 专门补这些桥。
课程主张
真正理解一项技术，需要同时回答：它解决什么瓶颈、核心机制如何工作、证据是否支持、 工程代价是什么，以及下一篇论文为什么自然会出现。
四层解释
同一概念同时提供直觉、机制、论文和工程四层入口，允许读者在适合自己的深度停留。
图必须能帮助推理
优先重绘可缩放、可交互的架构图；每种颜色固定含义，简化之处明确标出。
事实、解释、推断分开
关键结论回到论文和官方实现。榜单写明 harness、工具预算与截止日期，未知就明确说未知。
01 LEARNING PATHS
你不必从第一页顺序读到最后
四条路径共享同一张知识图。点击路径切换，章节之间的先修关系始终可追踪。
零基础
从“下一个词”开始，不先背 Transformer 公式
先建立 Token、概率、向量和训练目标的直觉，再通过可操作的注意力实验进入架构。
- 01 语言模型从哪里来
- 02 注意力与 Transformer
- 03 表示、位置与残差
- 04 Scaling Laws
K3 反向拆解
先看全貌，再沿组件回到每条技术祖先
适合已经用过大模型、想迅速读懂 K3 报告的人。每个组件都能跳回其历史专题。
- K3 三维信息流
- KDA 与 MLA
- Stable LatentMoE
- 1M Agentic RL 与系统
DeepSeek 主线
沿一家公司，看算法—系统协同如何一步步形成
从 DeepSeek LLM 的 dense 基线，到 MoE、MLA、FP8、GRPO、R1、稀疏注意力与百万上下文。
- DeepSeekMoE
- V2 / MLA
- V3 / FP8 / DualPipe
- Math / GRPO / R1
- V3.2 / V4
系统工程
跟着一个 Token 穿过 GPU、网络、缓存与服务集群
适合工程背景读者，从计算与内存账本出发理解并行、低精度、通信和推理服务。
- 08 大规模训练
- 09 数值与优化
- 14 推理服务
- K3 §5 Infrastructure
02 CURRICULUM MAP
16 个专题，拼成一张完整技术地图
进度条表示内容成熟度，不代表相关领域的重要性。首版先打通全站骨架，再逐章扩写到论文与工程层。
00首版可读
先看懂一张大模型地图
面对几百个术语，我们究竟先学什么？
01研究中
语言模型从哪里来
预测下一个 Token，为什么能产生通用能力？
02首版可读
注意力与 Transformer
一句话里的每个词，怎样直接找到真正相关的词？
03研究中
表示、位置与残差高速公路
模型如何知道词序，又如何让信息穿过上百层？
04研究中
Scaling Laws：规模为什么有效
多大模型、多少数据、多少计算才是划算的？
05待展开
数据工程与预训练配方
更多网页为什么不等于更好的模型？
06首版可读
稀疏计算与 MoE
怎样让模型装下更多知识，却不让每个 Token 都付全部算力？
07首版可读
长上下文与高效注意力
从 8K 到 1M Token，真正昂贵的是什么？
08待展开
大规模训练系统
一个 2.8T 模型如何摊到成千上万张卡上？
09待展开
数值精度、优化器与稳定性
为什么少几个比特能省巨资，也可能让训练瞬间崩掉？
10待展开
指令微调与人类偏好
会续写的 base model，怎样变成愿意协作的助手？
11首版可读
推理模型与测试时扩展
模型如何学会多想一会儿，并检查自己的答案？
12待展开
工具使用与长程 Agent
生成一段文字，怎样变成持续数小时的可靠行动？
13待展开
原生多模态
图像是外接插件，还是和文字一样的第一类输入？
14待展开
推理服务与低成本部署
模型训练完以后，怎样让千万人用得起？
15待展开
评测、安全与“到底强不强”
一个榜单分数，究竟测到了模型、脚手架还是预算？
03 KIMI K3 AS THE CONFLUENCE
K3 把三种信息流和一套庞大系统放进同一模型
K3 报告最好的阅读钥匙，是把架构看成 token、depth、channel 三个方向的信息流； 视觉输入与训练/服务基础设施则包住这三条轴。
图 01 Kimi K3 架构的教学化简图。它强调 token、depth、channel 三个信息流维度，不代表逐算子实现；依据 K3 Technical Report Figure 2 与 §2 重绘。
KDA × Gated MLA：让一百万 Token 既高效流动，也保留全局精确交互
先用直觉说
三层 KDA 像持续更新的“工作记忆”，每四层插入一层全局 MLA，像定期把整本笔记摊开重看。
- 3 个 KDA 层 + 1 个 Gated MLA 层为一组
- 主干共 69 层 KDA、24 层 Gated MLA
- KDA 线性扩展；MLA 周期性补足全局两两交互
Attention Residuals：每一层不只接住上一步，而是有选择地回看更早层
先用直觉说
普通残差像接力棒，只能拿到累加后的结果；AttnRes 更像档案索引，可以挑选哪一层的中间表示最有用。
- 学习 pseudo-query，计算跨层注意力权重
- 覆盖 embedding、当前 block 与先前 block
- 目标是改善 93 层网络中的信息与梯度流
Stable LatentMoE：896 位专家里，每个 Token 只请 16 位
先用直觉说
模型把“知识容量”和“本次计算量”拆开：专家库很大，但每次只激活最匹配的一小组。
- 2.8T 总参数，约 104B 激活参数
- 896 个 routed experts，另有 2 个 shared experts
- Normalized LatentMoE、SiTU-GLU、Quantile Balancing 稳住极稀疏路由
MoonViT-V2：图像不是外部 OCR 结果，而是进入同一主干的视觉 Token
先用直觉说
视觉编码器先把图像压成一串向量，再由轻量投影器把它们放进和文字相同的表示空间。
- 401M 参数视觉编码器
- 训练中联合文本、图像与视频数据
- 支持视觉反馈闭环：看截图、改代码、再次验证
算法—系统协同：模型结构必须能在真实集群上被训练、强化学习和服务
先用直觉说
一个公式只有在 GPU 内核、跨卡通信、显存和调度上都跑得通，才真正成为 2.8T 模型的一部分。
- FlashKDA 与 KDA Context Parallelism
- MoonEP 的平衡专家并行与零拷贝通信
- 长上下文 RL 的外置 KV Cache、可恢复 microVM 沙箱与部分 rollout
04 DEEPSEEK SPOTLIGHT
DeepSeek：一条极适合学习“算法—系统协同”的论文主线
从细粒度 MoE、MLA 和 FP8，到 GRPO 与 R1，DeepSeek 的每篇报告都在解决上一代留下的明确约束。 这里会给予它比普通模型谱系更细的篇幅。
2024.01
DS / 01
DeepSeek LLM
公开尺度规律与中英双语预训练，建立 7B / 67B dense 基线。
通向下一步
先弄清规模、数据与训练配方，再做稀疏化。
2024.01
DS / 02
DeepSeekMoE
细粒度专家分割 + shared experts，让专家更专、公共知识不必重复。
通向下一步
把容量扩张和每 Token 计算量分开。
2024.05
DS / 03
DeepSeek-V2
MLA 压缩 KV Cache；DeepSeekMoE 扩张稀疏容量。
通向下一步
训练经济性之外，开始直接优化推理内存与吞吐。
2024.12
DS / 04
DeepSeek-V3
671B-A37B、FP8 训练、无辅助损失负载均衡、MTP 与 DualPipe。
通向下一步
模型算法、数值格式与集群通信共同设计。
2025.01
DS / 05
DeepSeek-R1
R1-Zero 展示纯大规模 RL 可涌现推理；R1 用冷启动数据修复可读性与稳定性。
通向下一步
从“模仿答案”转向用可验证奖励塑造推理策略。
2025.12
DS / 06
DeepSeek-V3.2
DeepSeek Sparse Attention 降低长上下文成本，并统一 thinking 与 tool use。
通向下一步
把推理模型推进长上下文 Agent 场景。
2026.06
DS / 07
DeepSeek-V4
围绕百万 Token 上下文效率继续扩展，成为 K3 报告直接比较的开放前沿之一。
通向下一步
长上下文不再只是位置外推，而是注意力、训练与服务的全系统问题。
05 OPEN RESEARCH
课程本身也是一项开放研究工程
网站源码、路线、进度和研究规范全部公开。Grok 用来扩展检索线索，最终结论由一手论文和官方实现核验。
一手论文
arXiv、会议、期刊与作者正式技术报告，承载核心机制和实验数字。
官方实现
仓库、模型卡、训练与评测代码，用于确认论文描述如何落到真实系统。
官方说明
实验室博客、系统卡和产品文档；尚无论文的新模型会临时使用并标明状态。
独立复现
第三方结果用于检验外部有效性；二手文章只发现线索，不承载关键事实。