图解 · 运行过程 · 工程取舍
先找错误发生在哪层,再谈换模型
什么时候该改Prompt、检索、记忆或模型?
配套正文:F40基础课
动态图解 · F40
先找错误发生在哪层,再谈换模型
什么时候该改Prompt、检索、记忆或模型?
一个错误答案可以来自不同原因。模型根本没拿到新版本时,增加推理时间不能补出缺失事实;检索已经拿到新版本却被旧记忆覆盖时,需要修上下文与记忆使用规则。选择修复层应跟随证据,而不是看到失败就再加一个Agent。
归因用证据判断导致现象的环节。
消融改变或移除一个因素,看现象如何变化。
最小有效修复能处理已确认问题而不扩大无关复杂度的改动。
输入与适用条件:构造“旧配置被当成当前配置”的诊断案例;不以单次观察就宣称确定因果。
1 / 6 · 现象
第1步,共6步
窄屏可左右滑动图形,或点击“放大图形”。文字解释紧随图后。
先写清楚哪句话错、正确证据是什么,避免只说“感觉变差”。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续;播放到最后一步自动停止。键盘聚焦播放器后,可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分,含义同时用文字注明。
逐步说明与计算记录
以下解释全部展开,与播放器使用同一份数据;不是另换输入的第二个算例。
1.现象
先写清楚哪句话错、正确证据是什么,避免只说“感觉变差”。
2.定位输入
若原始证据没进入系统,先处理数据链路,不责怪模型不会推理。
3.定位检索
查排名、权限、有效时间和版本标签。
4.定位状态
区分“记录得晚”与“实际最新生效”;检查是否错把旧总结提升为事实。
5.最小修复
保持模型和其他环节不变,修一个被证据支持的环节。
6.配对验收
检查相关场景改善,也检查新版本过滤是否损害历史查询。
为什么需要
避免无目的地叠Prompt、规则、模型和审查环节。
怎样实现
按原文→索引→检索→上下文→推理→行动→核验逐段定位。
可能的代价与误解
同时改变多个因素后只看总成功率,无法解释哪项改动起作用。
如何判断是否做对
同任务、同版本、同预算对照,保留失败样本与可复查轨迹。