00 NINE LEDGERS
第一步不是画曲线，而是给横轴、纵轴和“最优”补全单位
同样写着 “scaling”，可能是在研究训练 loss、唯一数据、激活参数、累计推理请求或 RL FLOPs。 坐标不同，最佳决策甚至会朝相反方向移动。下面九张账是本章的防混淆协议。
观测量
CE、NLL、PPL、BPB 或任务错误率？
模型规模
total、non-embedding 还是 active parameters？
数据规模
seen、unique、repeated 还是 effective Token？
理论算术
训练 FLOPs 怎样定义，是否遗漏 attention / routing？
预算配比
固定 C 时，N 与 D 各分多少？
训练配方
batch、LR、warmup、schedule 是否随规模公平调优？
外推证据
目标点是否真正留出，误差与置信区间多大？
经济目标
只算训练，还是加上未来全部推理？
能力阶段
平滑 loss、离散 benchmark、RL 与 test-time compute 能否同图？
01 POWER LAW INTUITION
为什么 log-log 图上常出现一条直线？
许多实验观察到可约误差随资源 x 近似按 x-α 下降。 取对数后，乘法变加法、指数变斜率，所以跨多个数量级的弯曲关系会变成近似直线。
- L∞
- 当前实验族的不可约下界
- A
- 数据、架构、tokenizer 决定的垂直位移
- α
- 资源翻倍时，loss 下降有多快
若 α 很小，每次翻倍只改善一点；跨越 10³–10⁶ 倍资源后，累积效果才显著。
数据分布、架构、优化器或指标改变后，前因子、指数、下界乃至函数形状都会改变。
十个点能画出漂亮直线；真正的验证是把更大的目标 run 留到最后再揭晓。
02 2017 → 2026
从“数据多一点会更好”，到训练前先做模型家族搜索
Scaling laws 不是 GPT-3 后突然出现。2017 年的跨任务经验、2018 年的大 batch 统计， 先把可预测性与训练效率摆上桌；语言模型只是把实验推到更大的数量级。
Hestness
跨语言、视觉、语音等任务观察数据—误差幂律。
Noise Scale
critical batch 把并行速度与样本效率放进同一张账。
Kaplan
建立 L(N)、L(D)、L(C) 与偏大模型的 compute-optimal 结论。
Cross-modal
Henighan 把自回归幂律扩到图像、视频与数学。
Chinchilla
三种方法把最优分配改写为参数与数据近似同比例增长。
Emergence
若干 benchmark 在规模上呈现突然跃升。
Broken Laws
用平滑折断幂律表达 plateau、拐点和新斜率。
Data-constrained
把 unique Token 和重复 epoch 分开，研究数据墙。
Mirage
非线性与不连续指标可能制造“突然会了”。
Reproduction
重新检查 Chinchilla 拟合与 Kaplan–Chinchilla 分歧。
Over-training
把小模型长训和下游平均错误率纳入预测。
New axes
MoE、部署成本、RL、长上下文和多模态要求新的坐标。
03 KAPLAN 2020
经典坐标建立：参数、数据、计算各自都能形成平滑幂律
Scaling Laws for Neural Language Models在 WebText2 和一族 Transformer 上分别研究参数受限、数据受限与计算受限的情况。 论文把 “规模有效” 变成了可拟合、可规划的工程问题。
N 是 non-embedding parameters；需有足够数据并训练到接近收敛。
D 是 Token；常数依赖 WebText2、词表与 tokenizer。
该 recipe 下，大部分新增算力被分给更大的模型，数据增长较慢。
固定 3,000-step warmup、last-layer FLOPs 计数与不同规模的优化器调参方式都会影响谷底。 2024 年复现实验证明，recipe 公平性可以改变看到的指数。
04 CHINCHILLA 2022
同样训练 FLOPs，70B 认真读更多数据，可以胜过 280B 的欠训练模型
Training Compute-Optimal Large Language Models不只训练一个大模型，而是用三套方法寻找多个固定预算下的最优 N × D 配比。 三套结果共同指向：算力增长时，参数与 Token 应近似同比例增长。
训练曲线最小值不同模型沿训练曲线找每个预算的最低 loss
0.500.50IsoFLOP profiles固定 FLOPs，扫多组 N×D，再连接谷底
0.490.51Parametric loss拟合 E + A/Nᵅ + B/Dᵝ 后解析求解
0.460.54Kaplan 对照其 2020 配方更偏向增加模型规模
0.730.27表 3 的 1B→20.2B Token、10B→205.1B、67B→1.5T 形成约 20 TPP 的实用近似； 它不保证跨数据质量、tokenizer、MoE、优化器或部署目标保持不变。
05 ISOFLOP METHOD
谷底不是用公式猜出来的，而是用很多次小训练“围”出来的
固定一笔 compute budget，模型变大时能看的 Token 必须变少。最小模型可能容量不足，最大模型可能数据不足， 中间就形成一条 U 型 IsoFLOP 曲线。对多个预算重复，连接谷底才得到 compute-optimal frontier。
- 01选预算
至少多个跨数量级的训练 FLOPs。
- 02扫配比
每个预算都要覆盖谷底两侧。
- 03调 recipe
不同规模的 LR、batch、warmup 需公平。
- 04找谷底
记录最优 N、D 与最终 loss。
- 05真正外推
用未参与拟合的大 run 检查误差。
06 REPLICATION & RECONCILIATION
“Kaplan 错、Chinchilla 对”太简单：训练 recipe 本身就在改变曲线
2024 年两条复现路线把争议从口号拉回实验细节。Chinchilla replication 检查原论文 Approach 3 的拟合；Resolving Discrepancies 则从 Kaplan 风格训练重做实验。
精确参数和置信区间有问题
- 正文、TeX 与重建数据的参数不完全一致；
- 原报告的 Approach 3 置信区间异常窄；
- 重新拟合后，近等比例扩展仍与 Approach 1/2 相容。
三项修正让指数明显移动
- 是否计入最后一层 / vocabulary FLOPs；
- 固定 warmup 对小模型是否过长；
- 是否做 scale-dependent optimizer tuning。
小模型大量训练仍在 warmup
谷底被推向更大模型
像是“规模定律”，实含 recipe 偏差
Scaling law 最值得学习的不是某个小数点，而是实验协议：定义、覆盖、调参、留出、误差条和失败条件。
07 DATA-CONSTRAINED REGIME
Seen Token 是系统付出的计算，Unique Token 才是第一次见到的信息
Scaling Data-Constrained Language Models用 UD 表示唯一数据，用 RD 表示重复次数：D = UD × (RD + 1)。这个拆分让“训练了多少 Token”和“拥有多少新语料”不再混写。
第一次出现的内容；筛选和去重决定底层分布。
训练系统真实处理的量；每次重复仍付完整算力。
不可直接测量的教学概念；重复、质量与正则化会改变它。
- 400+ 个模型，10M–9B 参数；
- 最多 900B training Token；
- 其设置中，约 4 epoch 内与等量 unique data 的差距可能很小；
- 继续重复的边际收益最终趋近于零。
- “任何语料重复四遍都无害”；
- “第五遍开始完全没用”；
- “改写一遍等于得到一个新 Token”；
- “互联网数据将在某个固定年份耗尽”。
2026 年的 SoftQ 进一步让模型与有限数据项发生耦合， 并研究强权重衰减与 masked-input regularization。它是数据受限前沿的新证据，不是已定型的新常数。
08 OVER-TRAINING & DEPLOYMENT
训练最省算力的模型，未必是一生服务最省算力的模型
Chinchilla 只优化训练。如果一个模型会被调用十亿次，更小模型即使预训练更久， 每次推理节省的计算也可能把额外训练成本赚回来。
目标函数一变，最优点就可以从“大模型、少训练”移动到“小模型、长训练”。
参数与数据在固定训练 FLOPs 下配平；不关心模型上线后调用多少次。
用更多预训练摊薄每次调用；最终位置依赖流量、上下文、batch、硬件和寿命。
10–10,000 TPP
Sardana et al. 训练 47 个 150M–6B 模型， 在研究范围内没有看到极高 TPP 的 loss 完全停止改善；这不证明无限长训。
104 models · 3 datasets
Gadre et al. 发现多个 token multiplier 的 reducible-loss 曲线近似平行；aggregate downstream error 比单任务更可预测。
Base loss ≠ Adaptability
Catastrophic overtraining 提醒： 更低预训练 loss 可能伴随后续 fine-tuning 更困难，两阶段目标必须分账。
09 EMERGENCE DEBATE
“突然会了”可能是真机制，也可能只是评分尺把平滑曲线折成台阶
Emergent Abilities 系统记录多项任务在规模上从近随机跃升。Mirage 随后证明，非线性或不连续指标本身就能制造这种外观。
Token-level、Brier score、edit distance，检查底层进展是否仍有拐点。
稀疏规模点和高方差 benchmark 很容易把噪声看成阈值。
若多个连续指标、种子和数据集都出现稳定转折，才追查数据或网络机制。
10 BEYOND DENSE N × D
MoE 之后，一个“参数量”已经不能同时说明容量、计算与系统成本
Dense 模型里，参数量常能粗略代理每 Token 计算。MoE 把这条绑定拆开：模型可以拥有巨大总容量， 每个 Token 只激活一小部分；但未激活参数仍需存储，路由还会引入通信和负载不均。
模型能装下多少专家与知识
该 Token 实际进入多少参数
权重、dispatch、最慢 rank 与拓扑
经典 scaling law 主轴。
容量、激活计算与序列长度。
数据生成、搜索和生命周期成本。
因此 K3 报告所说的“双轴 scaling”——扩大预训练 foundation，同时扩大 RL、reasoning effort 与 agent 协作—— 不能被压回一条 L(N,D)。它们优化不同目标、消费不同数据、产生不同状态。
11 DEEPSEEK SPOTLIGHT
DeepSeek 的亮点：不仅拟合模型和数据，还把超参数与真实算术放进搜索
DeepSeek LLM §3 的重要性在于把 scaling study 变成训练大模型前的工程程序：先搜索 batch / LR，再决定模型—数据配比，并用更贴近算术的 M 替代参数数。
系数只属于论文单位与实验族，不是通用配置。
把 attention 随 sequence length 的计算纳入 non-embedding FLOPs/token。
数据分布改变时，论文 §3.3 的 exponent 也会改变。
DeepSeek LLM
Mopt ∝ C⁰·⁵²⁴³ · Dopt ∝ C⁰·⁴⁷⁵⁷先搜索 batch 与学习率，再用 non-embedding FLOPs/token M 替代参数代理；attention 计算进入坐标。
DeepSeekMoE / V2
TOTAL ≠ ACTIVE ≠ FLOPs细粒度专家和 MLA 改写容量、每 Token 计算与服务 KV 成本，Dense 的单一 N 已不够。
DeepSeek-V3
671B total · 37B active · 14.8T Token模型、数据、FP8、DualPipe 与通信内核共同决定实际可扩展性；GPU hours 不能由 6ND 单独推出。
DeepSeek-V4
1M context · hybrid attention · Muon压缩/稀疏 attention、recurrent components、mHC 与优化器把“规模”扩展到上下文和深度稳定性。
12 KIMI K2 → K3
从每个 Token 的价值，到整个模型家族的 2.5× scaling-efficiency claim
Kimi K2 把高质量数据有限写进动机；Kimi K3 则对包含新架构、新数据与新训练配方的模型家族重新做 scaling study。
Kimi K2
15.5T curated Token、MuonClip、知识/数学改写与 sparsity scaling；重点从“更多 Token”转向“每个 Token 的学习价值”。
Kimi K3 Scaling Study
为 KDA、AttnRes、Stable LatentMoE 和新数据/训练配方重新搜索 batch、LR、TPP 与 model shape。
Cosine vs WSD
两种 schedule 的最优 peak LR 与 batch 不同；各自独立调参后，报告选择 cosine，不能用共享超参草率赛跑。
2.5× Overall
Figure 7 的 OOD validation loss–FLOPs family-level 差异；不是单组件、吞吐、参数效率或所有 benchmark 的 2.5×。
overall scaling efficiency vs K2
作者在 held-out OOD validation loss–FLOPs fitted curves 上报告的 family-level 横向差异。
KDA、AttnRes、Stable LatentMoE、数据与训练 recipe 的合计影响。
单个组件消融、吞吐 2.5×、参数少 2.5×、所有 benchmark 都提升 2.5×。
足以独立重建全部曲线的原始 run 点、拟合代码、置信区间与完整数据配比。
K3 最值得带走的方法不是“cosine 永远优于 WSD”，而是不同 schedule 必须各自寻找近优 batch 与 peak LR，才能公平比较。
13 INTERACTIVE LAB
亲手移动“最优点”，比背 20 TPP 更接近真实 scaling study
四个实验分别核算训练分配、生命周期成本、数据复用和指标变换。所有输出都是确定性教学模拟； 它们展示因果方向和边界，不预测任何真实模型的 loss、价格或能力。
INTERACTIVE / SCALING LAWS LAB
“最优”取决于你究竟在优化哪一本账
四个实验都是确定性教学模型，不是任何实验室的训练预测器。参数只用来展示方向、约束和反直觉结果； 论文中的真实指数、拟合范围与置信区间必须回到正文和原始来源。
SCALING SURFACE
同一笔训练 FLOPs，模型太大和数据太少都可能吃亏
这里使用 Chinchilla 型教学损失面 L = E + A/N^α + B/D^β。每个点都满足 Dense 一阶近似 C = 6ND；谷底只是当前假设下的 compute-optimal point。
当前损失面的谷底
约 9.1 TPP
相对同预算谷底
双轴损失面的解析指数：N 的 compute exponent 为 β/(α+β)，D 为 α/(α+β)。系数与最优 TPP 仍由实验族决定。
“约 20 TPP”只是一段历史实验范围的经验点；改变数据、配方或部署目标，谷底会移动。
TRAIN × SERVE
只看训练，可能会选一个上线后反复多付钱的大模型
对一组 Dense 候选模型，先反推达到同一教学目标 loss 所需的数据，再加上全部请求的一阶推理 FLOPs。 推理按 2N × processed tokens 近似，不包含 KV、attention、批处理和硬件价格。
只最小化预训练 FLOPs
训练 + 所有推理请求
最优方案的总计算占比
论文里的“高推理需求”依赖请求量、硬件价格、batch、上下文和服务寿命；这里不提供采购结论。
DATA REUSE
训练看过 4T Token，不等于拥有 4T 个新的学习信号
教学模型把第一遍 unique Token 记为完整价值，随后每遍按 retention 衰减；改写只恢复部分边际价值。 这不是 Muennighoff 或 Kimi 的原始拟合式，只用于把 seen 与 effective 两个口径分开。
系统实际处理的总量
教学衰减后的 unique-equivalent
相对第一遍的边际价值
第一次出现的原始 Token
训练计算真实付费
教学模型中的等效信号
质量过滤、代码、合成数据、改写、正则化与模型容量都会改变衰减；不能把 effective Token 当可直接测量的物理量。
EMERGENCE LENS
底层能力平滑增长，评分尺也能画出“突然会了”
所有曲线共享同一条平滑 per-token correctness。Exact match 要整段全对，threshold 把连续分数切成 0/1， pass@k 则用更多样本改变“至少一次成功”的概率；它们测到的不是同一个问题。
底层连续能力
整段全部正确
越线才计为会
至少一个完整答案
先换成连续指标、增加采样点并报告方差；仍有稳定拐点时，再讨论数据、机制或训练阶段改变。
14 CURVE READING PROTOCOL
看到一张漂亮 scaling 图，按这 12 个问题逐项盘问
CE、BPB、PPL、平均错误率或单任务 accuracy？
参数、Token、FLOPs、GPU hour、请求还是 test-time compute？
total、non-embedding、active，是否包含 embedding / ViT？
unique、seen、重复、合成，tokenizer 是否一致？
6ND、真实算子 FLOPs，还是硬件峰值与 GPU hours？
架构、数据、优化器与训练稳定机制是否一起变化？
没有两侧就无法证明找到了最优点。
不同规模与 schedule 是否各自调 LR、batch、warmup？
拟合内漂亮不代表跨 100× compute 外推准确。
seed 方差、bootstrap CI、残差和版本是否公开？
训练 loss、部署总成本、下游平均还是 post-training 后能力？
原始点、拟合代码、数据配比与失败 run 都影响可信度。
曲线告诉你在当前条件下资源如何换 loss；谷底告诉你当前目标怎样分配预算；误差条告诉你能信多远；边界告诉你换数据、架构、阶段或经济目标后必须重新实验。
15 PRIMARY-SOURCE READING CHAIN
29 个节点：先读主干，再沿争议与模型谱系深入
推荐顺序：Hestness → Kaplan → Chinchilla → data-constrained / inference-aware → replication / reconciliation → DeepSeek LLM → K2 / K3。涌现与 broken laws 可作为平行争议线。
跨任务数据幂律前史。
02An Empirical Model of Large-Batch Traininggradient noise scale 与 critical batch。
03Scaling Laws for Neural Language ModelsKaplan 的 N / D / C 经典坐标。
04Scaling Laws for Autoregressive Generative Modeling跨模态自回归幂律。
05Language Models are Few-Shot LearnersGPT-3 的规模与 in-context learning 实证。
06Scaling Language Models: Methods, Analysis & Insights from Training Gopher280B Dense 模型的任务分化。
07Training Compute-Optimal Large Language ModelsChinchilla 与 IsoFLOP。
08PaLM: Scaling Language Modeling with Pathways540B 规模实践与任务变化。
09Emergent Abilities of Large Language Models涌现能力的原始系统化。
10Broken Neural Scaling Lawsplateau、拐点与折断幂律。
11LLaMA: Open and Efficient Foundation Language Models面向推理效率的小模型长训练。
12Are Emergent Abilities of Large Language Models a Mirage?指标导致的伪阶跃。
13Scaling Data-Constrained Language Modelsunique data 与重复 epoch。
14Pythia训练中间 checkpoint 与可解释 scaling。
15DeepSeek LLM超参数 law、M 与开放 scaling study。
16Beyond Chinchilla-Optimal加入未来推理需求。
17Language Models Scale Reliably with Over-training104 个模型与 aggregate downstream error。
18Chinchilla Scaling: A Replication Attempt拟合参数与置信区间复查。
19More Compute Is What You Need计算分配敏感性的争议假说。
20Resolving Discrepancies in Compute-Optimal ScalingFLOPs、warmup 与调参解释分歧。
21Optimization Hyper-parameter Laws动态学习率 schedule 的预测。
22Establishing Task Scaling Laws via Model Ladders从 task loss 到 task performance。
23The Llama 3 Herd of Models超 Chinchilla TPP 的开放实践。
24DeepSeek-V3 Technical ReportMoE、FP8 与系统协同。
25Kimi K2: Open Agentic Intelligencetoken efficiency、MuonClip 与改写。
26Overtrained Language Models Are Harder to Fine-Tunebase loss 与后训练可塑性分离。
27Data-Constrained LM PretrainingSoftQ 与模型—数据耦合。
28DeepSeek-V4百万上下文的新缩放变量。
29Kimi K3: Open Frontier Intelligence双轴扩展与 2.5× family claim。
曲线告诉我们需要多少数据；下一章追问这些 Token 怎样采集、过滤、去重、混合和防污染。
Scaling law 把数据写成 D，数据工程则解释为什么两个同样大的 D，可能有完全不同的学习价值。