怎样证明 Agent 优化有效
建立任务、评分、轨迹与成本的对照实验。
对应资料：Demystifying Evals for AI Agents [S143]
沿着对象与状态理解本章
两个平均成功率之间的差值，不能告诉你哪些题退化。先看同题配对表：两边都成功、新版独胜、旧版独胜、两边都失败，再看成本、方差和评分器误差。
下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制，不与本章其他独立例子的数值暗中接续。
涨了10个百分点，为什么还不能急着下结论？
一次实验怎样区别真实改进与偶然波动？
像给同一组题换两种解法：同题对照能减少题目难度不同带来的干扰。统计方法帮助表达不确定性，不会自动告诉你退化是否可接受、成本是否值得。实际决策还要回到任务类型、失误严重性和重复表现。
输入与适用条件：构造的20题配对表：10都成、4新成旧败、2旧成新败、4都败。不把它当真实模型胜率。
1 / 5 · 同20题，两版各跑一次
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
配对意味着旧版和新版面对同一题。先列出两者在每道题上的成功与失败关系，而不是只看两个总分。
20个配对任务；不是40个独立任务默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
为什么需要
避免因一个小样本的好看结果就把优化推向全部任务。
怎样实现
固定题集、版本和预算，配对重复，记录退化，并检查置信区间等不确定性。
可能的代价与误解
只保留成功重跑、反复调参又用同一评测集验收，会高估能力。
如何判断是否做对
重算全部配对原始记录，报告净提升、退化和成本，而不是只报均值。
先定义任务成功，再选择评分工具
本篇对应Demystifying Evals for AI Agents。任务、一次尝试、评分器和轨迹是不同对象。最终回答可以流畅，但实际文件未改；工具可以成功执行，但业务目标仍未满足。[S143]
原创Bug任务的成功定义包括修复目标失败、保持关键回归、不越权、报告真实验证。四个维度不能用一句“看起来不错”替代。
用不同证据评价不同属性
测试验证行为，静态检查验证部分边界，Trace定位过程断点，模型或人工审查评价较难程序化的语义和维护性。模型裁判需要校准，不是天然真值。[S145][S148]
不要要求所有成功轨迹完全相同。两个Agent可以读取不同但充分的证据，只要满足目标与约束。过程评分应检查必要条件，而非强制模仿某次演示。
一次成功与可靠成功
在独立且成功概率固定的教学假设下，p=0.8、k=3时，至少一次成功是0.992，三次都成功是0.512。真实尝试可能相关，因此这些公式只是理解不同目标的工具。[S153]
pass@k可以体现多次尝试与选择的收益，却不等于用户正常一次运行成功率。报告必须说明预算、重试和筛选方式。
怎样做一个公平对照
固定任务、基线代码、工具、资源与验收，分别跑旧方案和新方案。若同时换模型、Prompt和检索，只能评价组合变化，不能准确归因。
原创小样本例子：十个任务中，新方案多成功两个。需要检查是哪两类任务、有没有其他回退、是否偶然、成本怎样变化，不能立刻声称普遍提升20个百分点。
基础设施会影响编码评测，内存、超时和依赖问题需要记录。排除失败的规则应提前定义，不能事后只删不利结果。[S151]
评测资产应能长期保留
保存任务JSON、评分代码、配置和执行证据，使平台变化后仍能比较。拓展阅读目录涉及的某些平台有生命周期公告，书中保留核验日期与计划日期，不把未来计划写成已发生。
练习：对路由、记忆或Review只改一个机制，比较任务成功、重要缺陷、无关读取、调用数和成本。没有实际收益的复杂性不应仅因“更完善”而保留。
继续深入：第12章 · 评测方法 或阅读拓展阅读目录12.1的逐项讲义。所有链接均为本地内容。
20个任务提升20个百分点，证据足够强吗
输入与条件。同一20任务上A/B对比：两者成功10，两者失败2，仅B成功6，仅A成功2。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1总成功率 | A=(10+2)/20，B=(10+6)/20 | 60%对80%，观测提升20个百分点。 |
| 2配对变化 | 真正发生差异的是8个任务 | B赢6，A赢2。 |
| 3零假设 | 差异方向等可能 | 精确双侧二项概率2×(C8,0+C8,1+C8,2)/2^8。 |
| 4计算 | 2×(1+8+28)/256 | p=0.2890625，不能用这小样本宣称确定普遍改善。 |
| 5下一步 | 分析赢/输任务的原因，并扩大代表样本 | 不要仅把同20任务重跑到得到想要的p值。 |
把过程连起来。观测收益可以有工程价值，但统计不确定性必须与收益一起报告。
边界与反例。p值不是“方案错误概率”，未显著也不证明两方案完全等效。
依据与适用范围：[EVALS]。示例输入和场景由本书明确设定。