生成一段文字，
怎样变成可靠行动？

00 FOURTEEN LEDGERS

不要先问“它是不是 Agent”，先问这十四张账有没有闭环

一个模型可以很聪明，却拿到错误工具；工具可以调用成功，却改错数据库；任务可以偶尔完成， 却在连续运行时崩溃。Agent 的难点不是某一个模块不够强，而是很多正确条件必须同时成立。

01 FIVE-LAYER SYSTEM

Agent 的第一条纪律：模型不是产品，调用格式也不是任务成功

很多排行榜只写模型名，却把提示、工具、重试、上下文压缩、环境镜像和验证器藏在脚注里。 对真实 Agent 来说，后四层常常和模型同样决定结果。

02 MINIMAL STATE MACHINE

从第一性原理看，Agent 是一个部分可观察的状态机

模型通常看不到真实世界状态 sₜ，只能看到截图、工具回执、日志或对话形成的观察 oₜ。 它根据历史选择动作 aₜ，环境再转移到新状态。

一条轨迹至少记录什么

03 BEFORE “LLM AGENTS”

Agent 并不是 2023 年突然出现：环境、规划和程序执行早已在等语言模型

TextWorld、Jericho与 ALFWorld 先把语言动作、隐藏世界状态和环境反馈标准化；WebShop 再把它推到 1.18M 商品与 12K 人类指令的网页任务。

04 THE BRIDGE

WebGPT 与 SayCan 把两条关键线接上了：外部证据与世界可行性

WebGPT：浏览不是“把网页塞进 prompt”，而是一段有行动预算的轨迹

WebGPT 的模型可以搜索、点击、滚动和引用。 浏览会在达到最大动作数、最大引用长度或主动结束时停止，再用收集到的引用回答问题。 训练同时使用 demonstration behavior cloning、reward model、PPO 与 reward-model rejection sampling； 其最佳模型使用 BC + best-of-N。

引用不是安全保证。WebGPT 论文自己指出，模型仍可能选择不可靠来源，甚至 cherry-pick 看起来有说服力的证据。

SayCan：语言上合理，还要在当前世界里做得到

SayCan 为每个候选技能同时计算两项：LLM 判断它是否是任务的合理下一步， 技能 value/affordance 判断它在当前状态是否能成功。

05 REASON + ACT

ReAct 的贡献不是写 “Thought:” 三个字，而是让新观察可以改变下一步

ReAct 把原动作空间 A 扩成  = A ∪ L： 环境动作会改变世界并得到 observation；语言 thought 不改变世界，却能分解目标、提取观察、跟踪进度与调整计划。

06 LEARNING TO USE TOOLS

工具能力的三次扩展：插入调用、检索 API、走完整调用路径

Toolformer 的筛选逻辑

这不是环境任务成功 reward，而是“工具结果是否让模型更容易预测后续文本”的自监督 proxy。 它很巧妙，也因此不能直接保证真实业务正确。

从 function calling 到真实工具任务

08 PLAN · REFLECT · RECOVER

长任务的核心不是“先列计划”，而是计划怎样在失败后继续活着

恢复的四个等级

如果系统的唯一恢复策略是“把整个任务从头再跑”，长 horizon 会让成本和重复副作用指数级恶化。

09 MEMORY IS A POLICY

长上下文只是仓库面积；记忆系统还要决定放什么、忘什么、信什么

Generative Agents 用 observation、reflection、planning 组织长期行为；MemGPT 把 main context、recall 与 archival memory 类比操作系统内存；Voyager 则把成功程序写入技能库。

DeepSeek-V3.2 在搜索达到 context window 80% 后比较 Summary、Discard-75%、Discard-all 与并行轨迹； DeepSeek-V4 在工具场景跨用户轮保留完整 reasoning history。二者都说明 context management 是 harness policy，而不是模型规格表上的一个数字。

10 MULTI-AGENT

多 Agent 的价值是分工、并行和异质验证；风险是把一个错误放大成会议纪要

CAMEL 研究角色扮演通信，MetaGPT 把 SOP 写进软件协作，AutoGen 提供 conversable agent 抽象。 它们首先是 harness / protocol 创新，不是新的 base model。

11 ENVIRONMENT EVOLUTION

Agent 研究真正的主角之一，是越来越真实、可重置、可验证的世界

一个可训练环境的最低合同

12 WEB AGENTS

WebArena 的突破：不再问“点击路径像不像”，而问网站最终状态对不对

WebArena 提供可自托管的 e-commerce、social forum、 collaborative development、content management 等站点和知识资源，原始 benchmark 有 812 个长程任务。 evaluator 会检查页面或数据库状态，因此多条不同路径都能合法完成任务。

VisualWebArena 再加入必须理解图片、视觉布局与跨模态信息的任务；Mind2Web 更偏真实网站离线轨迹与 element selection。在线可执行环境与离线 demonstration 数据也要分开。

13 SOFTWARE ENGINEERING AGENTS

SWE-bench 测问题，SWE-agent 研究接口；分数从来不是模型单打独斗

SWE-bench 把真实 GitHub issue、仓库与测试联系起来；SWE-agent 则专门研究 Agent-Computer Interface： file viewer、search、edit 与 lint feedback 怎样减少上下文噪声和编辑错误。

SWE-agent 论文的轨迹分析显示，失败编辑越多，恢复概率越低。Agentless用更固定的定位—修复—验证阶段提供重要反例：复杂自治循环并不必然优于简单可审计流程。SWE-Gym 则把 2,438 个 Python 软件任务变成训练 Agent 与 verifier 的可执行环境。

14 COMPUTER USE

桌面 Agent 的难点不是“看懂截图”一个词，而是视觉 grounding 与真实执行共同失败

OSWorld 把 369 个 Ubuntu 任务放在真实网页与桌面应用中， 观察可以是 screenshot、accessibility tree 或二者结合，动作则包括键鼠、快捷键与程序化输入。

15 EVALUATION LADDER

不同 benchmark 不是谁“更高级”，而是在不同切面上设检查点

报告一个 Agent 分数的最低配置

GAIA 的原始 466 个问题要求组合推理、检索和工具； 论文当时报告人类约 92%、GPT-4 + plugins 约 15%。这个巨大差距的重要含义不是“插件没用”， 而是通用任务会同时暴露多层系统短板。

16 PASS@K ≠ PASS^K

重试能让你更容易找到一次成功，也能暴露系统根本无法连续可靠

τ-bench 在 retail 与 airline 场景中让 Agent 读取政策、 和模拟用户沟通、调用数据库 API，再比较 episode 结束后的数据库状态与唯一 ground truth outcome。

τ-bench 原论文报告，当时强 function-calling agent 在 retail 单次约 61%、airline 约 35%， retail 的 pass^8 降到约 25%。这些是历史设置下的论文报告值，核心价值在指标方向，而不是拿来代表今天的模型。

17 AUTHORITY · INJECTION · SANDBOX

模型无法天然区分“可信指令”与“工具刚读到的一段恶意文字”

AgentDojo 把邮件、银行、旅行等 97 个任务放入动态工具环境， 构造 629 个 security test cases。攻击者把指令藏在邮件或网页数据中，诱导 Agent 泄露信息或代表用户执行操作。

安全不是一句 prompt，而是纵深权限系统

Agent Security Bench 进一步覆盖 system prompt、user prompt、 tool observation、memory poisoning 与 backdoor 等攻击面。效用与安全必须一起报告：什么都不做的 Agent 很安全，但没有用； 完成任务却泄露数据的 Agent 也不能算成功。

18 FROM RESPONSE RL TO TRAJECTORY RL

Agent RL 不是把单轮 GRPO 的序列拉长：环境会在中间不断改变问题本身

单轮数学任务通常在一段 response 末尾给 reward；Agent 则产生多次 LLM call、工具动作、环境状态转移与观察， 最后才知道任务是否成功。把同一个终局 reward 赋给所有 Token，容易把好坏决策一起更新。

RAGEN / StarPO：多轮训练出现新的 collapse 形态

RAGEN 用 StarPO 把 state、thinking、action、reward 视为完整 trajectory， 目标为 J(θ) = E[R(τ)]。论文观察到 Echo Trap：reward variability cliff、gradient spike、 重复窄行为与随后 collapse。

StarPO-S 使用 trajectory variability filtering、critic baseline 与 decoupled clipping 改善稳定性。 它提供的不是 Agent RL 终极答案，而是一条重要警告：多轮环境会产生单轮 reasoning RL 没有的训练动力学。

19 TRAINING–AGENT DISAGGREGATION

Agent Lightning 的关键抽象：不用重写 Agent，只要能抽取状态转换

Agent Lightning 把 Agent execution 形式化为 MDP/POMDP， 用统一数据接口记录 (state, action, reward) transitions，再由 credit assignment 模块把 trajectory return 分给具体 LLM calls。

26 AUDIT CHECKLIST

以后遇到任何“新 Agent SOTA”，先用这张表问完再相信数字

↳ PRIMARY READING CHAIN

52 个节点不是书单，而是一条从环境动作走到百万 Token 轨迹的因果链

建议先读 ReAct、Toolformer、WebArena、SWE-agent、τ-bench、AgentDojo，再进入 RAGEN、 DeepSeek-V3.2/V4 与 K3。每一行都标出它实际解决的问题层，避免把 benchmark、harness、模型和系统论文混在一起。