一个模型到底强不强，
不能只看那一个粗体数字

00 TWENTY-TWO LEDGERS

看到排行榜，先把一个数字拆成二十二张账

“A 比 B 高 3 分”把测量对象、样本、提示、采样、工具、裁判、统计与成本压成了一个标量。 这句话可能有用，但只有把下面二十二张账补齐，才知道它允许多强的结论。

01 MEASUREMENT PROTOCOL

Benchmark 不是一张题单，而是一份十二字段合同

在物理测量里，我们不会只写“温度 25”，却省略摄氏、测量位置、时间和仪器。 LLM 榜单同样需要单位。最小的完整表达不是 score(model)，而是：

02 SEVEN SHIFTS

评测史不是“题越来越难”，而是测量边界不断外扩

每一代 benchmark 都修复了旧盲区，也创造了新盲区。自动代理便宜，却离真实偏好远； 人类和 LLM Judge 能看开放回答，却带来人群、风格与裁判偏差；Agent 更接近真实工作， 却把整个运行系统带进了分数。

03 METRICS ARE QUESTIONS

PPL、BLEU 与 ROUGE 都很重要，但它们从未等于“整体能力”

PPL 的直觉是模型在每一步面对的“等效平均分支数”。它只对同一 tokenizer、同一文本预处理、 同一测试分布具有直接可比性。把一句话切成 6 个 token 或 12 个 token，平均单位已经变了； 因此 PALOMA 等工作在 tokenizer 不同时使用 bits per byte。

04 BENCHMARK SUITES

把很多任务放到一张表，不会自动得到“通用智能”

套件总分至少藏着三次选择：选哪些任务、每个任务如何归一、每个任务占多大权重。 因此应先看每个子项与最差切片，再看总分。总分可以用于导航，不能替代诊断。

05 BENCHMARK LIFECYCLE

一个基准会出生、流行、饱和、被污染、修复，也可能退休

06 PROMPT IS PART OF THE TEST

改一个模板，可能既改变模型“理解了什么”，也改变 parser“看见了什么”

DeepSeek LLM 明确给出 base 与 chat 在部分任务上的 shots 差异；DeepSeek-R1 又因为 few-shot CoT 可能伤害 reasoning model 而采用若干 zero-shot 协议。这里没有一个抽象的“绝对公平 Prompt”： 正确做法是公开、固定，并用多模板敏感性分析说明结论是否稳健。

07 SAMPLING CHANGES THE QUESTION

pass@1、pass@k、cons@k、best-of-N 与 pass^k 不能互换

08 CALIBRATION & SELECTIVE RISK

答对多少，和“知道自己什么时候会错”，是两种能力

Kadavath 等人的结果说明，在其任务和格式中，更大模型能给出有希望的自评估； 但 P(IK) 跨任务仍难校准，不能被简写为“模型普遍知道自己什么时候错”。 真正的产品问题往往不是强迫每题都答，而是：在多少覆盖率下，把错误风险压到可接受范围？

09 FIVE LEAKAGE LAYERS

污染不是一个开关，也不能靠一次字符串搜索结案

“干净子集分数低于污染子集”也不能独自证明记忆带来提升，因为两组题可能难度不同。 最低限度要同时披露匹配定义、覆盖率、人工抽检、来源时间、效应量与不确定性。 DeepSeek-R1 明确承认 n-gram 去污染无法阻止测试集改写，这是一条应被保留的诚实边界。

10 FRESHNESS × COMPARABILITY

动态题解决“见过”，却可能失去“同一把尺”

Dynabench 用人机闭环造当前难例；FreshQA 刷新快速变化知识；LiveBench 用近期来源与客观判分按月更新； LiveCodeBench 和 SWE-bench Live 利用题目或 issue 的时间切分。它们没有“终结污染”，而是把数据时间和版本 提升为一等协议字段。

11 EXECUTABLE VERIFIERS

代码能运行是巨大进步，但“通过当前测试”仍不等于“完全正确”

EvalPlus 将 HumanEval / MBPP 的测试大幅扩充，并发现许多原测试未捕获的错误，模型排序也会改变。 DS-1000 又把库 API、数值约束、禁止操作等多条件写进判分。Verifier 的真正优势不是“绝不会错”， 而是它的判分程序更明确、更容易审计和改进。

12 A BENCHMARK REPAIRS ITSELF

SWE-bench 是理解“基准生命周期”最好的完整案例

13 DIAGNOSTIC CHAINS

1M 窗口和一个多模态总分，都必须拆成瓶颈链

14 MODEL IS NOT THE AGENT

Agent 的最小测量单位，是“模型—脚手架—工具—环境”

同一个模型换 system prompt、文件编辑器、浏览器工具、上下文压缩策略、重试次数或容器镜像， 就是另一个被测系统。公平比较可以固定 Harness 测模型，也可以允许每家最优 Harness 测产品上限； 但两种赛道必须命名不同，不能混入同一列后只写模型名。

15 VERIFY OUTCOMES, NOT THEATER

轨迹像专家，不等于事情真的完成了

这是教学独立近似，不是通用 Agent 定律；现实错误会相关，恢复机制也会修复。 但它揭示一个方向：长程任务应报告完成率、失败阶段、重试后成功、连续重复可靠性和尾部成本， 而不仅是平均一步准确率。

16 HUMAN EVALUATION

“人类偏好”不是一个天然、统一、无噪声的真值

17 JUDGE THE JUDGE

LLM-as-a-Judge 解决了规模，却没有消灭测量误差

MT-Bench / Chatbot Arena 系统讨论了位置、冗长和自增强偏差；G-Eval 说明 rubric 与推理提示 可以提高与人类的一致性，也指出偏好 LLM 文本的可能；LLMBar 则用“真正遵循指令但风格不讨巧” 的答案专门测试 evaluator。结论很清楚：Judge 本身必须有 benchmark。

18 ARENA IS A RELATIVE GRAPH

Elo / Bradley–Terry 是比较图上的相对位置，不是“智力点数”

Arena 的价值是把真实开放问题和相对偏好带进评测，不是把它神化成无偏真值。 当两个模型区间重叠、题目类别不同或版本更新时，应说“当前数据不足以确定排序”， 而不是强行用小数位制造确定性。

19 AVERAGES HIDE VALUES

平均数不仅压缩数据，也压缩了“谁重要”的价值判断

如果样本 80% 是英语，micro average 会让 A 看起来领先；给每种语言相同权重的 macro average 则可能让 B 领先。两者都不是“数学上错误”，而是回答了不同分布下的问题。公平、安全和文化评测尤其要：

• 同时报总体、关键子群、最差组与组间差；
• 公开权重、缺失项、拒答和无效输出处理；
• 避免用一个总分抵消某个群体的严重失败；
• 对多指标、多子组和多次提交处理选择性报告与多重比较。

20 ACCURACY × COST × LATENCY

测试时扩展时代，不报预算的“最高分”越来越难解释

合理比较不一定强迫所有系统同预算。可以报告固定预算下的能力，也可以画完整 Pareto frontier： 在每一个成本点上，谁提供最高成功率？DeepSeek-V4 的 Nonthink / High / Max，以及 K3 的 max effort， 都说明“模型能力”正在变成一条由测试时资源参数化的曲线。

21 WHAT IS THE SAFETY OBJECT?

基础模型、对齐行为、产品防线与部署环境，必须分四层测

在裸模型上做攻击可以测权重层的稳健性；在产品 API 上做攻击可以测防御总和。两者都有效， 但不能互相冒充。DeepSeek-R1 报告中安全评测所用 wrapper 与裸 reasoning checkpoint 的差异， 正是为什么要先命名对象。

22 THREAT MODEL FIRST

在报攻击成功率之前，先回答攻击者是谁

23 SAFETY GENEALOGY

安全评测从“内容像不像毒性”走到“系统是否真的被攻破”

24 NON-REFUSAL IS NOT HARM

越狱“成功”至少有四道门

一些攻击让模型输出很长、看似顺从，却只有空洞警告或错误信息。若分类器只看“是否拒绝”， 就会把这些当成功。StrongREJECT 的核心贡献正是用人工标注关注有害回答的相关性与可用性。 因此最低限度同时报：

25 UNTRUSTED DATA BECOMES INSTRUCTION

Agent 安全的核心变化：模型开始读取外部世界，并有权限改变它

这里的防线不是“让模型更会拒绝”一句话：还包括最小权限、数据—指令分离、动作确认、 工具参数验证、秘密隔离、网络策略、审计日志、速率限制和人工升级。安全评测必须覆盖整条链。

26 SAFETY × UTILITY FRONTIER

拒绝越多并不等于越安全：无害可用性必须进入同一张图

安全阈值移动会在危险服从和过度拒答之间形成前沿。更好的系统不是简单把阈值调高， 而是提升区分能力、澄清意图、提供安全替代、按权限分级，并对不确定高风险动作升级给人。

27 DEEPSEEK PROTOCOL LINEAGE

沿 DeepSeek 七篇报告，看“模型分数”一步步变成“系统曲线”

DeepSeek 特别适合作为评测教学主线，因为它同时公开了 dense、MoE、数学、reasoning、长上下文和 Agent 演化。最值得学的不是记住某张表，而是观察协议怎样随着能力形态改变： shots 分开、Maj@K / Pass@K 分开、采样 pass@1、effort 分档、上下文分档，最后把工具数和步数写进报告。

28 DEEPSEEK-R1 CASE STUDY

R1 的“pass@1”不是一次 greedy；安全评测也不是裸模型行为

29 KIMI K3 §6

逐字段复原 K3 的公开评测：它报告的已经是多种系统设置

最有教学价值的不是哪一项第一，而是报告主动暴露了 Harness 敏感性：DeepSWE v1.1 与官方 mini-SWE-agent 可分别观察；Terminal-Bench 会跨 Harness 报告；BrowseComp 的上下文策略、 SWE-Marathon 的硬件校准、FrontierSWE 的重算日期都进入了分数。这正是未来评测报告应该走的方向。

30 INTERACTIVE LAB

亲手改一次协议，比背十张排行榜更有用

四台测量仪分别对应本章最容易混淆的四组变量。每次只改一个控件，然后先说出 “我改变的是模型、协议、系统、裁判还是威胁模型”，再观察结果。

31 REUSABLE AUDIT CARD

以后看任何模型报告，先填完这十四行