30｜资深能力验收：开放题、参考答案与毕业项目
本章不是背诵测验。目标是能解释、实现、反驳、测量并作出取舍。完成阅读不自动等于已经达到资深水平，实际产物和独立验证才是证据。
本章目录
沿着对象与状态理解本章
开放题可以有不同合理方案；对方案的检验应该回到约束、反例与验证成本。
下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制，不与本章其他独立例子的数值暗中接续。
涨了10个百分点，为什么还不能急着下结论？
一次实验怎样区别真实改进与偶然波动？
像给同一组题换两种解法：同题对照能减少题目难度不同带来的干扰。统计方法帮助表达不确定性，不会自动告诉你退化是否可接受、成本是否值得。实际决策还要回到任务类型、失误严重性和重复表现。
输入与适用条件：构造的20题配对表：10都成、4新成旧败、2旧成新败、4都败。不把它当真实模型胜率。
1 / 5 · 同20题，两版各跑一次
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
配对意味着旧版和新版面对同一题。先列出两者在每道题上的成功与失败关系，而不是只看两个总分。
20个配对任务；不是40个独立任务默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
为什么需要
避免因一个小样本的好看结果就把优化推向全部任务。
怎样实现
固定题集、版本和预算，配对重复，记录退化，并检查置信区间等不确定性。
可能的代价与误解
只保留成功重跑、反复调参又用同一评测集验收，会高估能力。
如何判断是否做对
重算全部配对原始记录，报告净提升、退化和成本，而不是只报均值。
1. 数值与模型内部题
题目：一个Decoder完整推理正常，逐Token结果错误，但张量shape都对。给出排查顺序并解释原因。
参考答案：固定参数、关闭随机算子；比较第一步，再找首次分歧位置；检查cache拼接轴、每层独立缓存、位置偏移、非方形因果mask、GQA映射和dtype。使用整段/逐Token/多种分块一致性测试；改变未来Token检验因果性。若位置重置，RoPE相对位置错误；若mask按左上角三角，新查询看不到完整前缀。
达标不是仅说“检查KV Cache”，而是能用最小反例区分上述原因，并说明数值容差不能掩盖逻辑错误。
2. 训练与后训练题
题目：SFT后回答风格更好，但代码正确率不升；DPO偏好分数提升，工具越权反而增加。该如何判断？
参考答案：目标可能只奖励风格或表面完整性；先检查示范/偏好数据覆盖、损失mask、验证器与任务分布，再看训练是否引入退化。增加独立功能、权限与回归评价。参数训练不能替代执行器授权，越权首先应被确定性边界阻止。不能仅因总体偏好分数高就上线。
3. 上下文与压缩题
题目：摘要包含所有关键词，却继续执行失败。如何设计更强的保真评测？
参考答案：加入否定条件、假设/事实区分、撤销决策、版本新鲜度与未决副作用；预先定义恢复问题和继续任务；用未压缩、压缩、人工最小状态对照；测试重复压缩与不同位置。结构验证只能检查字段和来源存在，语义支持与任务完成必须另测。
4. 检索题
题目：ANN相对精确向量搜索Recall@10为99%，但关键源码仍找不到，为什么？
参考答案：该指标只说明近似索引保留了向量近邻，Embedding可能没把关键源码排前；还可能有切块、版本过滤、权限或查询表达问题。先建立精确符号/BM25基线，检查候选证据召回，再看重排和上下文选择。不能因为ANN指标高就宣布检索优秀。
5. 记忆题
题目：系统第30天得知配置第20天已变。如何回答第25天当时的系统认知与如今对第25天的事实判断？
参考答案：需要区分valid time与recorded/transaction time。查询当时认知只允许使用第25天之前记录的证据；今天回看可使用后来到达但对第25天有效的资料。当前教学实现有这两个时间过滤，但没有完整撤回历史与并发合并，不应夸大。
6. 执行可靠性题
题目：远程动作超时，模型要求重试。什么情况下安全？
参考答案：只读或确定无副作用且可重复操作通常更容易重试；写操作要有幂等键、状态查询或可靠对账。无法知道是否发生时保持unknown，不能盲目重发。幂等键必须绑定同一业务操作及参数，不可每次重试生成新键。
7. 工程质量与路由题
题目：新路由把必需Skill召回从样本80%提高到95%，但任务耗时增长且代码质量略降。如何处理？
参考答案：路由只是中间指标。分析新增加载是否挤占源码证据、Skill是否过时或流程过重；分离描述、正文和加载策略做消融；检查复杂与简单任务分层。不能为了路由分数牺牲最终质量。若没有正净收益，回滚或只应用于有证据的子场景。
8. 评测题
题目：你尝试20个Prompt，选最好者在同一测试集上报告提升。哪里有问题？
参考答案：测试集已用于选择，结果存在选择偏差。应保留独立测试或新任务，预定义比较方式与成本，报告重复运行和区间。失败任务、工具与基础设施问题要按预先规则处理，不能挑选性删除。
9. 安全与可观测性题
题目：文档诱导模型发送秘密，但执行器拒绝；随后系统正常完成总结。该如何报告？
参考答案：模型层受诱导、执行边界成功阻断、最终合法任务成功，三个指标分别记录。记录动作与权限拒绝证据，不将秘密写入普通日志。以后改模型或工具权限都应保留该回归样本。
10. 毕业项目A：可恢复的仓库修复器
在可销毁样例仓库中实现读取、补丁、预设测试和完成判定，加入版本前置条件、实际进程崩溃恢复与取消。可先用脚本控制器验证执行机制，再显式选择模型进行真实任务。两种结果分别报告。
交付包括当前代码、任务契约、失败样本、Trace、测试结果、成本与未验证范围。至少展示一个初始失败变为通过、一个负对照被捕获、一个不可恢复/未知状态被正确阻止。不能只展示成功视频或模型总结。
11. 毕业项目B：证据与权限感知的知识系统
建立有版本、ACL、更新与删除的文档集，比较BM25、语义与混合检索；答案保留来源并正确处理无答案与冲突。测试权限撤回、旧版干扰、查询改写偏移和跨文档组合。没有预算时可先只验证词项检索与数据治理，明确语义模型未测。
毕业不是要求所有技术都部署，而是能够解释选型与拒绝理由。小语料下选择简单检索完全可以合格，只要结果与约束支持。
12. 毕业项目C：技能与上下文优化实证
以真实宿主的同一版本、同一任务集比较旧新Skill和加载策略。记录实际发现、加载、使用与结果差异；静态格式测试与真实任务分开。至少做一项消融和一个退化场景检查，报告成功成本而非只报Token下降。
最终判定
能够解释机制、实现关键子系统、设计能抓错的测试、读源码与版本边界、识别不值得的复杂度，并用证据说明结果，才达到本书重新设定的目标。某一专门领域如GPU核优化、完整RL训练或形式化安全仍需更深入实践，本书不把“目录覆盖”包装成这些领域全部精通。
毕业项目的验收证据，而不是“能聊天”的演示
输入与条件。项目目标：只读检索仓库，找出exclude缺陷并提出补丁，不自动提交。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1正例 | 提供带已知缺陷的仓库 | 正确定位并解释ab反例。 |
| 2相邻负例 | 提供已修复仓库 | 不应为了显示能力制造修改。 |
| 3故障注入 | 拒绝读取关键文件或返回旧索引 | 正确报告缺口而非编造证据。 |
| 4边界验证 | 工具没有提交权限 | 即便文本提议提交，也不可实际执行。 |
| 5报告 | 分别记录任务、版本、结果、成本、限制 | 达到目标比功能按钮数量更重要。 |
把过程连起来。能力验收需要正常、反例和故障三种输入，而不是只展示一个精心选择的成功样本。
边界与反例。这是自建项目测试设计；自检答案与评分说明仍可由读者主动展开。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。