00 EIGHT LEDGERS
不要先问“模型会不会推理”，先看它在哪张账上变强
一个系统可以第一次就答对，也可以第一次经常错、但采样 100 次总能出现正确解；还可能候选池里早已有正确答案， 只是 verifier 选不出来。把它们压成一个准确率，会把训练收益、搜索收益和评测收益混在一起。
pass@1、规则 verifier；最直观，却看不见候选覆盖与过程。
pass@k；近似检查正确路径是否还在模型分布里。
投票、ORM、PRM、规则执行；选择器不是免费 oracle。
“写得像推理”不保证它是答案形成的因果解释。
单轨变长、多采样、树搜索和工具调用买到不同能力。
PPO、GRPO、DAPO、Dr.GRPO、Kimi clipping 改的不是同一处。
pass@1 上升可能伴随大 k 覆盖不变甚至下降。
KV、沙箱、长尾、stale policy、teacher prefill 与吞吐共同定价。
单条长 CoT 是自己多写草稿；self-consistency 是找多个“平行的自己”独立作答； PRM 搜索是每写几步就让阅卷员判断往哪条路继续；工具 Agent 则真的去查资料或运行代码。 四种方法都消耗“测试时计算”，但不会带来同一种能力。
让答案前先写步骤
GSM8K · CoT · Self-Consistency · Least-to-Most把不可见的单步映射扩成可继续计算的 Token 序列，并用多路径投票增加覆盖。
留下的债：步骤可能冗长、错误或不忠实；多数投票不知道为什么某条更好。学习评价结果与步骤
Process vs Outcome · PRM800K · Tree of Thoughts · ReActORM/PRM、显式搜索和外部行动把“产生候选”与“选择/验证”拆开。
留下的债：评分器偏差会被大规模 best-of-N 与搜索反复放大。把测试时计算当成独立 scaling 轴
DeepSeekMath · Compute-Optimal TTS · Tülu 3 · o1GRPO 降低 critic 工程负担；研究开始按难度分配串行、并行与搜索预算。
留下的债：pass@1、pass@k 与选择器收益容易被一个“reasoning score”混为一谈。长 CoT 与规则奖励 RL
k1.5 · R1-Zero/R1 · s1 · DAPO · Dr.GRPO128K rollout、partial rollout、budget forcing 与 RLVR 形成可扩展配方。
留下的债：长度增长、aha、分布锐化和真实能力增长之间仍需因果审计。从单轮数学走向 Agent 与多教师
RLVR Capacity · K2 · K2.5 · MOPD · K3奖励扩到开放任务、多模态、软件环境与百万 Token trajectory，并整合多领域/多 effort 教师。
留下的债：异步环境制造极端 off-policy 数据，训练吞吐成为算法的一部分。01 SERIAL COMPUTE
CoT 的第一层意义：把一次前向变成可继续展开的计算序列
Chain-of-Thought Prompting在 few-shot 示例里加入中间推理，使足够大的模型在算术、常识与符号任务上显著提升。 它没有为 Transformer 添加新模块，而是改变了模型在答案之前生成哪些 Token。
一次短映射；如果内部一步跨不过去，就没有后续计算位置。
每个已生成 Token 成为后续 Token 的上下文，相当于增加串行测试时计算。
“写更多 Token”为什么可能有用
Least-to-Most 先生成子问题，再让后续答案看到已解决部分。
模型不必在一次隐藏状态变化里同时记住所有约束。
一条轨迹可以先犯局部错误，再通过检查恢复；这也是 k1.5 不依赖逐步 value 的直觉之一。
长回答也可能重复、合理化错误或利用长度偏好的 reward model。训练若只奖励“看起来像长思考”， 会把 verbosity 当作能力。后续的预算控制、过程监督和 faithfulness 检查就是在补这笔债。
02 FOUR MODES
串行深度、并行宽度、搜索和工具，解决的是四种不同瓶颈
单轨继续想
适合可在同一前缀上检查与修订的问题；关键路径延迟随长度增加。
例：long CoT、reflection、reasoning effort多轨独立采样
增加答案覆盖，可横向并发；高度相关的样本会迅速失去边际收益。
例：self-consistency、pass@k分支、评分、回溯
把预算集中到 verifier 看好的中间状态；评分偏差也会被反复放大。
例：Tree of Thoughts、PRM search改变可见信息集
搜索、代码与软件环境可提供模型参数里没有的新证据；成本包括外部延迟与失败恢复。
例：ReAct、coding agent、deep researchSelf-Consistency：不判断哪条推理漂亮，只统计答案汇聚
Self-Consistency 从同一问题采样多条 CoT， 把最终答案归一化后多数投票。它利用“正确路径可能不同、正确答案却相同”的结构； 如果模型重复同一种系统性错误，投票反而会让错误更自信。
03 METRIC HYGIENE
同一候选池，可以产生四个看似矛盾但都正确的分数
随机抽一个答案时成功；正式报告常用多样本无偏估计降低方差。
检查覆盖，不解决“实际该选谁”。
是否成功取决于正确答案是否形成最大簇，而不只是正确样本个数。
最终结果同时依赖候选覆盖和评分排序质量。
`n` 个样本中有 `c` 个正确，抽 `k` 个时至少命中一个。
不是严格独立乘法公式，而是提醒最终成功必须同时有候选和可靠选择。
temperature、top-p 与 max tokens 会共同改变 pass@k 曲线。
数学等价式、代码测试和自由文本 judge 的错误口径不同。
base 与 RL 模型若使用不同 chat template，比较可能先测到格式适配。
有工具/PRM 的系统分数不能当作裸模型单次生成能力。
04 COMPUTE-OPTIMAL ALLOCATION
最优测试时策略依赖“哪台模型遇到哪种难度”
Snell 等人把测试时扩展拆成 proposal distribution 与 verifier 两条轴，在专门训练的 PaLM 2 模型和 MATH 上研究修订与 PRM 搜索。 论文的关键贡献不是一个永远最优的算法，而是“先估难度，再分预算”的框架。
基础成功率已经高，大规模并行采样浪费预算。
正确路径仍在分布里，扩覆盖并选择最有价值。
当前 proposal 几乎不覆盖正确解时，继续采样同分布收益很小。
compute-optimal 策略在其实验中可用约 4× 更少计算超过 best-of-N；在部分 FLOPs 匹配条件下， 较小模型可超过约 14× 大的模型。但最难题常更需要 pretraining，而不是继续堆当前 test-time compute。 难度估计本身还用了每题 2,048 个样本，不能当作零成本 oracle。
05 PROCESS ≠ EXPLANATION
过程监督问“每一步好不好”，忠实性问“这真是答案形成的原因吗”
轨迹结束才给分；便宜、客观，但早期错误的信用分配很粗。
每一步标注/预测质量；信号密，但标注贵且局部评分不等于全局可恢复性。
PRM800K 的 78.2% 必须带完整分母
Let’s Verify Step by Step 发布约 800K 个 step labels， 来自约 75K 条解答和 12K 道题。其 headline 是内部 GPT-4-base 生成器配 process-supervised reward model， 在一个代表性 500 题 MATH 子集上做 best-of-1860，解决 78.2%。 它研究的是 reward-model reliability 与大规模候选选择，不是生成器 pass@1，更不是“PRM 单次解出 78.2% MATH”。
Turpin 等人在偏置提示实验中观察到最高 36.3% 的准确率下降；人工检查的 426 条解释里只有 1 条明确提到偏置。73% 的抽样不忠实解释支持偏置一致答案， 15% 甚至没有明显推理错误。这是一个必要的失败测试，不是“所有 CoT 都不可信”的证明。
06 PPO → GRPO
GRPO 不只是“删掉 critic”，它重写了 baseline、归一化与 Token 聚合
critic 估计 value/advantage，clipped surrogate 限制策略更新；LLM 管线还要协调 reference 与 reward model。
同题生成一组回答，用组内奖励均值作 baseline、标准差归一化，不训练独立 critic。
Outcome supervision 时回答内所有 Token 共用同一个 Aᵢ。
这一长度归一化正是 Dr.GRPO 后来审计的对象之一。
原始论文不是先把 reference KL 从 reward 中减掉。
DeepSeekMath 已经给出一个非常克制的能力结论
论文报告 DeepSeekMath-Instruct 在 MATH 为 46.8，RL 后为 51.7，64 样本 self-consistency 为 60.9； 但 Figure 7 中 RL 改善 Maj@K、没有改善 Pass@K。作者据此说结果更像让输出分布稳健、把正确回答从 Top-K 推到前面，而非已经证明基础能力发生根本扩展。2025 年的 RLVR capacity 争论，其实在这里已经埋下伏笔。
给低概率 token 更大的上升空间，缓解 entropy collapse。
过滤全对/全错组，因为相对 advantage 为零。
整批 Token 聚合，改变长短回答的梯度权重。
在上限附近平滑惩罚，减少硬截断噪声。
避免短正确与长错误获得不对称总梯度。
减少题目难度因标准差不同而被重加权。
07 DEEPSEEK SPOTLIGHT
R1-Zero 证明规则奖励可以组织长推理；R1 则是完整多阶段产品配方
Dr.GRPO 后续发现 base 已出现部分 “aha/反思”表达。
accuracy + format 规则奖励；无 reasoning SFT、无神经 ORM/PRM。
提升可读性，减少语言混合与不友好格式。
继续扩大数学、代码与逻辑能力。
拒绝采样、reasoning/non-reasoning SFT 与 broader rewards。
R1-Zero 真正支持的说法
- 从 DeepSeek-V3 Base 直接做规则奖励 RL，可以显著提高可验证推理表现。
- 训练中回答长度增长，并出现反思、验证与自我修正样式。
- 不依赖神经 reasoning reward model，可减少 reward hacking 与复杂管线的一类风险。
它没有单独证明的说法
- “aha” 字符串是能力从零涌现的因果标志。
- 只要延长回答，所有模型都会更会推理。
- 完整 R1 不需要 SFT、蒸馏、helpfulness/safety reward 或数据筛选。
蒸馏小模型：老师先付过最贵的账
R1 的六个 1.5B–70B distilled models 使用约 800K 条由 R1 产生/筛选的数据做 SFT， 报告中没有再对这些蒸馏模型做 RL。它说明强 reasoning traces 可以高效传给小模型， 不说明 800K 个普通题目能让小模型凭空自举出同样能力。附录还指出：小模型上蒸馏更有效， 但继续超过更强模型仍需要 RL 路线。
08 CAPACITY OR SHARPENING?
如果基础模型在第 200 个样本才解出来，RL 把它推到第 1 个，算不算学会了新能力？
RLVR capacity-limit 论文在数学、代码、视觉和多种模型/算法上观察： RL 模型经常提升 pass@1，但基础模型在大 `k` 会追平或超过；训练继续时，train pass@1 可上升而 pass@256 下降。 作者把这解释为当前 RLVR 主要把概率质量推向已存在的 rewarded paths，并可能缩小覆盖。
结论只覆盖论文测试的“当前 RLVR”，不能推广为强化学习永远不能创造能力。
pass@k 是有限采样下的 coverage proxy，不是模型能力空间的精确测量。
base/RL 的 entropy 不同；相同温度与 entropy-matched 比较回答不同问题。
工具与环境会产生新观察，论文自己也把 Agentic RL 视为可能超越单轮限制的方向。
如果生产系统只有一次机会，把正确解从第 200 个推到第 1 个极其有价值；如果研究目标是扩大模型能产生的解法空间， 就必须同时追踪大 k 覆盖、entropy、工具获取的新经验和强教师是否引入了新模式。
09 KIMI k1.5
Kimi 把 RL context 本身扩到 128K，并让一条轨迹跨训练迭代活下去
Kimi k1.5使用 128K RL context、partial rollout 与 replay buffer。 长回答被分成跨迭代片段；旧片段可排除出当前 loss，只对当前可用部分做 on-policy 计算。 论文采用 online mirror-descent 风格 surrogate、同题组均值 baseline，不训练 value network。
long-CoT 模型报告 AIME 77.5、MATH 500 96.2、Codeforces 94th percentile、MathVista 74.9。 这些数值依赖论文的模型、prompt、采样与评测协议；128K 有效是其内部 scaling 实验和最终模型结论，不能外推为所有任务越长越好。
long2short 是四条方法，不是一句“把长思维蒸馏短”
合并长 CoT 与短模型，便宜但控制粗。
多采样后选最短正确回答做监督。
最短正确为正；较长错误或超 1.5× 的正确回答为负。
降低最大 rollout，并在能力建立后优化长度—正确率前沿。
报告中的 long2short RL 在 AIME 2024 的 8 次运行 pass@1 为 60.8，平均约 3,272 tokens。 这说明“算得对且少写”可以成为显式训练目标，不说明压缩后永远保留全部长轨迹能力。
10 KIMI K2 → K2.5
从数学 verifier 走向开放任务 judge，再走向异步多模态 Agent RL
规则、执行、LLM-as-judge 与 hack-check 产生可检查信号。
当前 actor 产生轨迹，verifier 判断结果。
把可验证能力迁移到更主观的评价。
core、prescriptive 与人工 rubric 共同约束 self-critique。
K2延续 k1.5 的组相对奖励与 squared log-ratio 正则， 同时加入任务预算、PTX loss 与 temperature decay。self-critique 不是“模型自言自语后给自己高分”， 而是 critic 对候选做 pairwise rubric 比较；但开放任务 judge 仍可能偏爱长度、文风或可被利用的格式。
K2.5：token ratio 越界就屏蔽梯度，不等于标准 PPO clipping
K2.5对每个 token 的新旧策略概率比率做 `[α, β]` 区间裁剪， 并把它解释为对 log-ratio drift 的约束： 区间内正常求 policy gradient，区间外梯度为零；它不依据 advantage 正负选择裁剪方向。 论文把它用于缓解训练引擎—推理引擎差异在长程、多步工具任务中放大的 off-policy divergence。
只有同题平均准确率超过阈值，才按正确样本长度分位数限制预算。
恢复最大输出，让模型继续学习如何有效利用更多 inference-time tokens。
这套 Toggle 的目标是避免模型只学会“尽快结束”，却失去在困难问题上扩大计算的能力。 K2.5 的 Rollout Manager 还支持最多 100K concurrent agent tasks，把 text、vision 与 parallel-agent RL 放到同一异步环境里。
11 KIMI K3
先训练 9 个领域/预算专家，再在学生自己的轨迹上合成一套统一策略
统一初始化与行为基础。
general、general agent、coding × low/high/max。
九位冻结教师在 student rollout 上给逐 Token 稠密信号。
Reasoning effort 是训练出来的预算条件，不是推理时硬截断
为每个问题估计初始长度预算。
超预算直接覆盖任务奖励。
先让模型学会充分计算，再压缩预算。
Partial rollout RL 与 MOPD 必须并排，不能混成一句“on-policy RL”
- `N×K` 条轨迹并发生成。
- `λNK` 条完成后先暂停 generation。
- 未完成轨迹后续恢复，可能横跨多个 policy 版本。
- per-token localized-neighborhood regularization 容忍极端 off-policy。
- prompt 按 domain / effort 路由到 9 个教师之一。
- student 生成当前 on-policy trajectory。
- teacher 对相同前缀 prefill，返回每个 token 概率。
- clipped teacher–student log-prob 差作为稠密 advantage。
独立 MOPD 论文把它推导为 student→teacher reverse KL 的 policy-gradient 形式。同源教师很关键：更强但分布更远的外部教师在其实验中会让优化不稳、entropy 收缩。
MOPD 还可传输教师 top-k token 分布以降低方差；K3 报告称更细的 top-k distillation 没有改善其收敛或最终表现。只能解释为同源教师、当前基础设施和配方下的结果，不能推广成 top-k 蒸馏普遍无用。
12 INTERACTIVE LAB
亲手改变预算、梯度和教师距离，观察三张账怎样分离
先用预算页比较 Long CoT 与 Self-Consistency，再到 GRPO 页切换“全对组”，最后把 MOPD teacher–student 距离推高。三个实验都用确定性公式，刷新后可复现；它们讲机制，不预测真实模型分数。
INTERACTIVE / REASONING COMPUTE LAB
“多想一会儿”至少有三套完全不同的账
下面所有概率都是确定性教学模拟，不是任何真实模型跑分。它用同一界面拆开测试时预算、GRPO 梯度和 K3 MOPD， 让概念差异可以被操作，而不是只靠背术语。
TEST-TIME COMPUTE
固定总 Token，不同策略买到的不是同一种计算
串行深度增加单条轨迹可做的工作；并行宽度增加覆盖；verifier 负责选择；工具改变模型能看到的信息。 把四者只写成 “thinking tokens” 会掩盖真正瓶颈。
串行思考后的单条成功率
候选里至少出现一个正确解
不训练选择器的答案投票
覆盖 × 选择可靠度的合成结果
候选相关性会让 nominal N 高估真实探索宽度；继续加样本以前，先问它们是否只是重复同一种错误。
POLICY OPTIMIZATION
同一组 rollout，四种聚合方法会把力用在不同地方
每行是一条同题回答。条形图不是完整训练梯度，而是把 reward、长度归一化和 ratio mask 压缩成可比较的教学权重，专门暴露“为什么实现细节会改变训练行为”。
同题组里既有对也有错，组均值 baseline 能产生正负 advantage。
回答内 token 平均会改变长短样本的总贡献；DAPO 与 Dr.GRPO 选择不同的聚合口径。
K2.5 只看 token ratio 是否越界；这里不模拟标准 PPO 的 advantage-aware clipping。
去 critic，但引入组标准差和 response length 两层归一化。
配合 dynamic sampling、Clip-Higher 和 overlong shaping。
移除论文指出的长度与题目难度归一化偏置。
用于约束训练—推理 mismatch 放大的 off-policy drift。
K3 / MULTI-TEACHER ON-POLICY DISTILLATION
不是把九个模型参数平均，而是让学生在自己的路上逐 Token 问老师
先选 prompt 的领域和 reasoning effort；student 生成当前轨迹，再由对应冻结 teacher 对相同前缀打分。 这与跨迭代 partial rollout 的 off-policy RL 是两套不同机制。
长程助手、deep research 与段落写作教师；在 high effort 下兼顾探索与预算。
越远不代表越好，分布错配会增加训练压力
超出 ±Amax 的 token 不再继续放大 advantage
远分布教师可能让 student 向少数模式收缩
不同于只在轨迹结束时给一个 outcome reward
当前学生在自己的推理分布上生成。
按领域与 effort 选择 9 个教师之一。
教师读取学生前缀，返回逐 token 概率。
clipped log-prob 差进入 policy-gradient。
独立 MOPD 论文发现，绝对能力更强但分布更远的外部教师不一定更好；这里用距离滑杆显示这种风险，不把它当作真实训练预测器。
预算页只讲概率结构；梯度页只讲聚合方向；MOPD 页只讲 teacher signal。三页故意不合并成一个“总分”， 因为真实 reasoning system 的能力、选择、训练稳定性与运行成本没有可诚实相加的单一单位。
13 MILLION-TOKEN AGENTIC RL
长推理的最后一公里，是让 GPU、KV、工具环境和沙箱互不空等
几百张 GPU 上交错 rollout 与 policy training。
暂停轨迹的 MLA KV / KDA state 写回外部内存。
训练/生成阶段之间卸载状态，释放设备显存。
工具任务在可暂停、恢复、fork 的 microVM 中执行。
AgentENV incremental checkpoint 报告值。
恢复已暂停沙箱的报告值。
真实工作负载的 memory overcommit 报告值。
K3 训练/评测累计创建，跨 1,505,678 images。
当模型推理可占沙箱生命周期的 98% 时，暂停沙箱可以不占 CPU/内存；当环境运行时，GPU 又应服务别的 rollout。 K3 还根据 active/queued requests 与 KV utilization 自动节流，并把 reference / non-policy 权重从 CPU 流入 policy 的 FP32 gradient buffers。这里的每项系统设计都在回收“长尾等待”。
↳ PRIMARY-SOURCE READING CHAIN
不要按模型榜单读，按“旧方法留下了哪堵墙”读
下面 30 篇构成本专题首版主干。课程中的机制、公式与数字优先回到这些一手来源； 更完整的 202 篇跨专题索引位于论文库。
clipped on-policy policy optimization。
↗02 / 2021Training Verifiers to Solve Math Word ProblemsGSM8K、采样与 verifier。
↗03 / 2022Chain-of-Thought Prompting用显式中间步骤扩展串行计算。
↗04 / 2022Self-Consistency多路径采样与答案投票。
↗05 / 2022STaR迭代生成、筛选并训练成功 rationale。
↗06 / 2022Least-to-Most Prompting先分解，再按子问题顺序求解。
↗07 / 2022Zero-Shot Reasoners用统一 step-by-step 触发语句激发零样本 CoT。
↗08 / 2022Minerva以技术内容继续训练数学与科学定量推理。
↗09 / 2022ReActreasoning、action、observation 交错。
↗10 / 2022Process- and Outcome-Based Feedback结果正确率与轨迹错误率的不同监督需求。
↗11 / 2022Program of Thoughts用程序表达推理，把计算交给外部执行器。
↗12 / 2023Self-Refine同一模型循环反馈和修订初始输出。
↗13 / 2023Language Models Don't Always Say What They Think公开 CoT 的忠实性反例。
↗14 / 2023Tree of Thoughtsthought 分支、评价与回溯。
↗15 / 2023Let's Verify Step by StepPRM800K 与 best-of-N 过程选择。
↗16 / 2024DeepSeekMathGRPO 与数学数据管线。
↗17 / 2024Quiet-STaR在一般文本 Token 间学习内部 rationale。
↗18 / 2024Scaling LLM Test-Time Compute Optimally按难度分配修订、并行与 PRM 搜索。
↗19 / 2024Tülu 3开放 post-training 与 RLVR 配方。
↗20 / 2024OpenAI o1 System Card推理模型的能力与安全评测边界。
↗21 / 2025Kimi k1.5128K RL、partial rollout 与 long2short。
↗22 / 2025DeepSeek-R1R1-Zero、cold start、多阶段 RL 与蒸馏。
↗23 / 2025s1精选强教师轨迹与 budget forcing。
↗24 / 2025DAPO长 CoT RL 的四个实际修正。
↗25 / 2025Dr.GRPO长度与题目难度归一化偏置。
↗26 / 2025RLVR Capacity Limits用大 k 覆盖审计能力边界。
↗27 / 2025Kimi K2verifiable gym 与 self-critique rubric RL。
↗28 / 2026Kimi K2.5token clipping、Toggle 与统一 Agentic RL。
↗29 / 2026MOPD同源多教师的 student on-policy 蒸馏。
↗30 / 2026Kimi K3reasoning effort、partial rollout、MOPD 与 AgentENV。
↗