28|深度应用蓝图:企业问答、仓库诊断、研究与受控自动化
目标:把原理迁移到真实业务,能写出数据流、失效规则、验证与上线边界。以下为原创参考设计,不是已经部署或跑分的产品。
本章目录
沿着对象与状态理解本章
从业务输入到证据、动作与验证串成可检查链,再确定哪些组件缺失。
下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制,不与本章其他独立例子的数值暗中接续。
先找错误发生在哪层,再谈换模型
什么时候该改Prompt、检索、记忆或模型?
一个错误答案可以来自不同原因。模型根本没拿到新版本时,增加推理时间不能补出缺失事实;检索已经拿到新版本却被旧记忆覆盖时,需要修上下文与记忆使用规则。选择修复层应跟随证据,而不是看到失败就再加一个Agent。
输入与适用条件:构造“旧配置被当成当前配置”的诊断案例;不以单次观察就宣称确定因果。
1 / 6 · 现象
窄屏可左右滑动图形,或点击“放大图形”。文字解释紧随图后。
先写清楚哪句话错、正确证据是什么,避免只说“感觉变差”。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续;播放到最后一步自动停止。键盘聚焦播放器后,可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分,含义同时用文字注明。
为什么需要
避免无目的地叠Prompt、规则、模型和审查环节。
怎样实现
按原文→索引→检索→上下文→推理→行动→核验逐段定位。
可能的代价与误解
同时改变多个因素后只看总成功率,无法解释哪项改动起作用。
如何判断是否做对
同任务、同版本、同预算对照,保留失败样本与可复查轨迹。
1. 企业知识问答:不是一个公开向量库
场景:员工询问内部接口迁移方案,资料分布在文档、PR与会议纪要中。首先绑定员工身份与项目权限,确定问题涉及的产品版本。查询先在授权集合中召回,返回片段、来源、版本和上下文范围;生成答案时区分当前方案与历史决定。
一个最小数据模型包含document_id, revision, tenant, acl, effective_time, source_uri, chunk_range。Embedding版本单独记录,便于重建。派生摘要也保留来源依赖,原文撤回或权限变化后可以找到需要失效的摘要与答案缓存。
验收包含:有答案、无答案、旧版冲突、跨文档组合、权限相近用户、权限撤回。关键指标不只是答案流畅度,而是证据支持率、当前版本正确率、授权泄漏、拒答覆盖与延迟。检索到机密内容再要求模型“不说出来”不是合格权限设计。
上线先做只读问答,保留人工反馈与错误样本;没有必要第一天就让系统自动修改文档。写入能力应另设授权与审核流程。第13、15、20章分别提供检索、生命周期与安全基础。[N24][N35][N83]
2. 仓库诊断助手:先定位再决定是否实施
场景:开发者报告某功能回归。系统读取当前分支、工作树状态与用户描述,定位日志、入口和相关测试。输出可以先是“证据支持的候选根因+最小复现”,而不是立即修改大量文件。
数据路径是任务→精确搜索→AST/LSP扩展→源码/测试→假设验证。若需要历史理由,再查Git;若需要外部接口,再查对应版本官方文档。检索应逐步扩展,避免全库默认载入。当前源码优先于旧记忆,但旧记忆可以指出高价值入口。
允许实施时,补丁绑定读取版本,限制变更范围,运行原失败测试及必要回归,检查最终diff。高风险改动增加独立审查;普通小修复不必默认多Agent。验证结论必须绑定最终工件,而非聊天中的某一中间版本。
评测按真实任务分层:简单Bug、跨模块功能、并发/存储、构建配置、文档。比较同一模型下有无Skill、有无记忆、不同检索策略,确定收益来自专业知识还是工具改善。不要用静态路由成功代替代码结果。[N79][N47]
3. 研究助理:从资料堆积到可追溯结论
场景:研究团队要判断某项Agent技术是否值得采用。系统先定义决策问题与比较基线,再收集原论文、官方文档和复现实验;每个结论保留出处、版本、实验条件和是否为作者推断。
证据对象可包含claim, source, scope, date, method, limitation, status。这不是强制数据库表,而是避免把“某研究集上有效”写成“普遍最佳实践”的最小语义。多篇文章重复引用同一实验,不应被当成多个独立证据。
研究停止标准是当前决策所需关键不确定性已经有足够证据,或剩余缺口明确需要本地实验。无限阅读同类文章不会自动提高确定性。输出应能回答采用、暂缓、局部试验以及什么新证据会改变决定。
评价不是文章数量,而是来源准确性、结论支持、反证覆盖、可执行实验和实际决策价值。检索不到时说明搜索范围与缺口,不编造文献。图检索或多Agent只在跨资料规模与独立探索确有需要时引入。[N26][N46]
4. 运营自动化:先只读,再分级增加副作用
场景:系统检查构建失败并建议重试。只读阶段获取状态、日志和近期变更;建议阶段给出可核验原因;执行阶段才允许对特定任务重试或创建工单。每一步权限与完成条件不同,不应因系统会分析就自动拥有生产写权限。
一次执行绑定用户/服务身份、目标对象、前置状态与操作ID。服务超时后保留unknown,通过查询任务状态对账,避免重复创建。重试只用于明确可重试错误;权限错误不绕过,配置错误不无限重试。
上线采用影子模式或人工确认的逐步放权策略,先观察建议质量与误触发,再允许低风险动作。影子模式没有真实副作用,不能证明实际执行恢复可靠,因此仍要单独做沙箱故障注入与对账测试。
5. 共用组件与不该共用的逻辑
身份、追踪、预算、工具协议和基础检索可复用;业务验收、风险阈值和专业技能通常要按应用定义。把所有业务都塞进一个全能Agent,可能让权限与上下文不断膨胀;把每个步骤都拆成服务,又可能过度工程化。
先建立一个清晰单进程或小服务边界,只有并发、隔离、扩展或团队责任需要时才拆分。共享模块应有真实重复使用场景,而不只是“未来可能”。
6. 生产上线的最小证据包
包含代表任务集、错误分类、权限测试、恢复测试、成本/延迟、数据删除策略、回滚条件和未验证范围。高风险系统需要更严格审计;个人只读助手可以简化,但不能省掉密钥和数据边界。
验收题:三种业务都用同一LLM,能否共用同一成功率指标?不能。知识问答看证据与权限,代码任务看工件与回归,运营自动化看外部状态与副作用。模型相同不代表业务质量相同。
同一份研究结论转为自动化动作,需要补哪一层
输入与条件。研究报告建议“升级服务超时至5秒”;真实自动化要修改项目P生产配置。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1研究结论 | 有证据支持建议 | 仍不是用户授权的写操作。 |
| 2动作规格 | 明确项目、环境、字段、旧值和新值 | 避免把测试配置当生产。 |
| 3风险与权限 | 确认允许执行及适当批准 | 不能由报告自授权限。 |
| 4执行与验证 | 按版本条件写入、读回并运行必要检查 | 建议正确不保证执行正确。 |
| 5失败恢复 | 超时、未知结果、回滚条件 | 在动作前设计,而不是故障后猜。 |
把过程连起来。从建议到行动跨过了权限和副作用边界,需要新增工程保证。
边界与反例。为受控自动化设计示例,不构成真实生产变更授权。
依据与适用范围:[DERIVE]。示例输入和场景由本书明确设定。