评测方法

Agent评测包括任务、尝试、评分器和运行轨迹。最终答案、实际环境结果与成本应分别观察，不能只依据模型自述完成。

评测从真实失败案例开始可以快速产生价值，但样本需要逐步覆盖相邻场景，避免只优化已知问题。

原创练习：为一个Bug定义目标测试、回归约束、授权边界与成本记录，再比较两个方案的配对结果。

完成标准是能说明改动解决了什么、是否退化和增加多少开销，而不是只给一个无法解释的综合分数。

工作流评测把多轮模型、工具和状态变化作为评价对象。一个步骤输出格式正确，不代表整个任务完成；局部成功也可能被后续错误破坏。

数据集需要明确初始环境、输入、验收与允许预算。工具和模型版本变化都可能影响比较。

原创练习：为搜索正确但补丁错误、补丁正确但测试环境失败两种轨迹分别评分，避免混淆能力与基础设施问题。

完成标准是把结果与过程关联，找到应该修改的层次，而非对全部失败使用同一Prompt修补。

Trace Grading评价执行过程中的决策、工具与证据使用。它能帮助定位错误发生在哪里，但不应奖励机械模仿某条固定样例路径。

不同搜索顺序可能同样正确。只有任务确实要求的证据或动作才适合成为必要条件。

原创练习：比较两条不同但有效的修复轨迹，设计不会误罚其中一条的评分标准。再加入漏验证的轨迹观察是否识别。

完成标准是评价因果必要性与风险，而不是把流程越长、工具越多当成更高质量。

评测学习资源提供从数据、评分到持续优化的框架。平台产品会变化，长期资产应是任务定义、评分逻辑与可追溯运行结果。

截至本书核验日期，OpenAI旧Evals平台公告中的只读和关闭时间仍是未来计划，不能写成已经完成。正文保留绝对日期与条件。

原创练习：将某平台上的评测导出为独立任务JSON与评分脚本，说明哪些能力仍依赖平台，哪些可以迁移。

完成标准是工具更换后仍能重跑核心比较，而不是只能记住某个界面的点击步骤。

数据集建设需要代表真实任务分布，并把训练或调参用途与独立评价区分。反复根据同一测试集修改系统，会逐渐对它过拟合。

样本应包含成功与失败、简单与复杂、边界和异常情况。只收集新方案最擅长的例子会夸大收益。

原创练习：把历史任务划为开发集与保留集，写明哪些修改可以参考哪部分结果，再检查重复或近重复样本。

完成标准是比较具有可解释性与可复现性，而不是单纯追求样本数量。

LLM-as-a-Judge研究模型裁判的能力与偏差，包括位置、风格和长度等因素。模型评价可以扩展规模，但不是天然客观的真值。

裁判需要明确标准、独立样本校准和必要人工抽查。与被评模型相同的错误知识可能导致共享偏差。

原创练习：交换两个答案的展示顺序，并保持内容不变，检查评分是否稳定；再比较冗长错误与简短正确答案。

事实与代码行为能直接验证时，应优先使用可靠证据。模型裁判适合补充，不应替代全部确定性测试。

SWE-bench使用真实仓库问题和测试评价修复能力。任务需要理解代码并产生补丁，区别于只补全一个短函数。

评分依赖测试、环境和数据版本。通过基准不代表补丁在所有未覆盖场景都正确，也不能据此保证真实用户任务成功。

原创练习：检查一个教学Issue的失败测试、回归测试和环境依赖，说明缺少哪部分会使结论不可靠。

完成标准是读懂基准任务定义与验收边界，而不只记录排行榜数字。

SWE-bench项目存在不同数据子集和评测设置。比较结果需要注明具体版本、任务集合、运行环境和允许预算。

不同子集难度或验证质量可能不同，不能把同名基准的百分比直接并列而不检查口径。

原创练习：为两个假想评测报告建立对照表，标出任务数、模型、工具、超时和重试差异，再判断是否可比。

本条强调项目层的复现条件，与前一条论文目标互补，不将官网某时点排名当作长期事实。

基础设施噪声研究说明Agent编码评测会受资源与运行环境影响。内存、CPU、超时、并发和依赖条件都可能改变结果。

环境失败与模型能力失败需要区分，但也不能随意删除不利运行。排除规则应提前定义并透明报告。

原创练习：让同一测试在资源充足与受限环境中运行，记录失败原因，而不是把所有失败都归入模型错误。

完成标准是控制比较条件并保留原始证据，避免把基础设施差异误当算法改进。

AgentBench在多种环境中评价Agent能力，涉及的不仅是文本回答，还包括行动与反馈。不同环境失败模式可能明显不同。

综合分数可以概括表现，也可能掩盖某一关键能力短板。实际选型应看与你任务相关的子项。

原创练习：将检索、工具参数、规划和恢复分别设为可观察环节，分析一个Agent总分相近但错误类型不同的情况。

完成标准是了解基准覆盖范围，不能由通用Agent分数直接推断专门代码审查或生产部署能力。

τ-bench评价工具、用户交互与规则遵循，并使用重复运行考察可靠性。一次成功与多次都成功是不同目标。

在独立且成功率固定的理想条件下，至少一次成功是1-(1-p)^k，全部成功是p^k；真实尝试往往相关，不能无条件套公式。

原创练习：用p=0.8、k=3计算两者，再解释为什么高pass@k可能掩盖较弱的一次执行稳定性。

完成标准是明确重试、筛选和预算口径，不把最佳一次演示当成用户正常体验。

LiveCodeBench通过时间更新的代码任务关注更贴近新问题的评价和污染风险。动态数据有助于降低某些记忆化问题，但不能证明绝对没有相似训练内容。

时间、模型版本和数据公开情况都需要记录。代码生成任务也不同于完整仓库修复。

原创练习：比较随机切分与按发布时间切分的任务集，说明各自可能存在的泄漏和分布变化。

完成标准是对评测新鲜度与覆盖范围保持透明，不把“较新”直接写成“完全无污染”。

GAIA面向通用助手的综合任务，可能需要检索、推理和工具协作。它强调现实任务组合，而不是只测单一语言生成指标。

综合任务失败需要拆解：信息未找到、工具不可用、推理错误或最终验证不足。总分本身不能告诉你该修哪一层。

原创练习：设计一个需要读表、计算并核对来源的小任务，记录每步证据和最终答案的依赖。

完成标准是理解跨能力任务的评价方式，不把通用基准成绩直接变成特定企业流程的可靠性承诺。