专题研修

28|深度应用蓝图:企业问答、仓库诊断、研究与受控自动化

专题研修约 3 千字1 组分步图解

目标:把原理迁移到真实业务,能写出数据流、失效规则、验证与上线边界。以下为原创参考设计,不是已经部署或跑分的产品。

本章目录

沿着对象与状态理解本章

从业务输入到证据、动作与验证串成可检查链,再确定哪些组件缺失。

下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制,不与本章其他独立例子的数值暗中接续。

动态图解 · F40

先找错误发生在哪层,再谈换模型

什么时候该改Prompt、检索、记忆或模型?

一个错误答案可以来自不同原因。模型根本没拿到新版本时,增加推理时间不能补出缺失事实;检索已经拿到新版本却被旧记忆覆盖时,需要修上下文与记忆使用规则。选择修复层应跟随证据,而不是看到失败就再加一个Agent。

归因用证据判断导致现象的环节。
消融改变或移除一个因素,看现象如何变化。
最小有效修复能处理已确认问题而不扩大无关复杂度的改动。

输入与适用条件:构造“旧配置被当成当前配置”的诊断案例;不以单次观察就宣称确定因果。

1 / 6 · 现象

第1步,共6步

窄屏可左右滑动图形,或点击“放大图形”。文字解释紧随图后。

先找错误发生在哪层,再谈换模型:现象现象回答引用了旧配置定位输入新资料是否进入索引/请求定位检索候选是不是旧版本优先定位状态长期记忆是否覆盖了新证据最小修复修版本过滤或失效条件配对验收同题集比较正确性、成本与退化教学流程;高亮表示当前步骤,不表示真实耗时比例。

先写清楚哪句话错、正确证据是什么,避免只说“感觉变差”。

本步状态由图形与说明共同给出。

默认静止。用“下一步”看完解释再继续;播放到最后一步自动停止。键盘聚焦播放器后,可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分,含义同时用文字注明。

为什么需要

避免无目的地叠Prompt、规则、模型和审查环节。

怎样实现

按原文→索引→检索→上下文→推理→行动→核验逐段定位。

可能的代价与误解

同时改变多个因素后只看总成功率,无法解释哪项改动起作用。

如何判断是否做对

同任务、同版本、同预算对照,保留失败样本与可复查轨迹。

1. 企业知识问答:不是一个公开向量库

场景:员工询问内部接口迁移方案,资料分布在文档、PR与会议纪要中。首先绑定员工身份与项目权限,确定问题涉及的产品版本。查询先在授权集合中召回,返回片段、来源、版本和上下文范围;生成答案时区分当前方案与历史决定。

一个最小数据模型包含document_id, revision, tenant, acl, effective_time, source_uri, chunk_range。Embedding版本单独记录,便于重建。派生摘要也保留来源依赖,原文撤回或权限变化后可以找到需要失效的摘要与答案缓存。

验收包含:有答案、无答案、旧版冲突、跨文档组合、权限相近用户、权限撤回。关键指标不只是答案流畅度,而是证据支持率、当前版本正确率、授权泄漏、拒答覆盖与延迟。检索到机密内容再要求模型“不说出来”不是合格权限设计。

上线先做只读问答,保留人工反馈与错误样本;没有必要第一天就让系统自动修改文档。写入能力应另设授权与审核流程。第13、15、20章分别提供检索、生命周期与安全基础。[N24][N35][N83]

2. 仓库诊断助手:先定位再决定是否实施

场景:开发者报告某功能回归。系统读取当前分支、工作树状态与用户描述,定位日志、入口和相关测试。输出可以先是“证据支持的候选根因+最小复现”,而不是立即修改大量文件。

数据路径是任务→精确搜索→AST/LSP扩展→源码/测试→假设验证。若需要历史理由,再查Git;若需要外部接口,再查对应版本官方文档。检索应逐步扩展,避免全库默认载入。当前源码优先于旧记忆,但旧记忆可以指出高价值入口。

允许实施时,补丁绑定读取版本,限制变更范围,运行原失败测试及必要回归,检查最终diff。高风险改动增加独立审查;普通小修复不必默认多Agent。验证结论必须绑定最终工件,而非聊天中的某一中间版本。

评测按真实任务分层:简单Bug、跨模块功能、并发/存储、构建配置、文档。比较同一模型下有无Skill、有无记忆、不同检索策略,确定收益来自专业知识还是工具改善。不要用静态路由成功代替代码结果。[N79][N47]

3. 研究助理:从资料堆积到可追溯结论

场景:研究团队要判断某项Agent技术是否值得采用。系统先定义决策问题与比较基线,再收集原论文、官方文档和复现实验;每个结论保留出处、版本、实验条件和是否为作者推断。

证据对象可包含claim, source, scope, date, method, limitation, status。这不是强制数据库表,而是避免把“某研究集上有效”写成“普遍最佳实践”的最小语义。多篇文章重复引用同一实验,不应被当成多个独立证据。

研究停止标准是当前决策所需关键不确定性已经有足够证据,或剩余缺口明确需要本地实验。无限阅读同类文章不会自动提高确定性。输出应能回答采用、暂缓、局部试验以及什么新证据会改变决定。

评价不是文章数量,而是来源准确性、结论支持、反证覆盖、可执行实验和实际决策价值。检索不到时说明搜索范围与缺口,不编造文献。图检索或多Agent只在跨资料规模与独立探索确有需要时引入。[N26][N46]

4. 运营自动化:先只读,再分级增加副作用

场景:系统检查构建失败并建议重试。只读阶段获取状态、日志和近期变更;建议阶段给出可核验原因;执行阶段才允许对特定任务重试或创建工单。每一步权限与完成条件不同,不应因系统会分析就自动拥有生产写权限。

一次执行绑定用户/服务身份、目标对象、前置状态与操作ID。服务超时后保留unknown,通过查询任务状态对账,避免重复创建。重试只用于明确可重试错误;权限错误不绕过,配置错误不无限重试。

上线采用影子模式或人工确认的逐步放权策略,先观察建议质量与误触发,再允许低风险动作。影子模式没有真实副作用,不能证明实际执行恢复可靠,因此仍要单独做沙箱故障注入与对账测试。

5. 共用组件与不该共用的逻辑

身份、追踪、预算、工具协议和基础检索可复用;业务验收、风险阈值和专业技能通常要按应用定义。把所有业务都塞进一个全能Agent,可能让权限与上下文不断膨胀;把每个步骤都拆成服务,又可能过度工程化。

先建立一个清晰单进程或小服务边界,只有并发、隔离、扩展或团队责任需要时才拆分。共享模块应有真实重复使用场景,而不只是“未来可能”。

6. 生产上线的最小证据包

包含代表任务集、错误分类、权限测试、恢复测试、成本/延迟、数据删除策略、回滚条件和未验证范围。高风险系统需要更严格审计;个人只读助手可以简化,但不能省掉密钥和数据边界。

验收题:三种业务都用同一LLM,能否共用同一成功率指标?不能。知识问答看证据与权限,代码任务看工件与回归,运营自动化看外部状态与副作用。模型相同不代表业务质量相同。

运行示例 · S28

同一份研究结论转为自动化动作,需要补哪一层

输入与条件。研究报告建议“升级服务超时至5秒”;真实自动化要修改项目P生产配置。

步骤与对象内部动作中间结果 / 新状态
1研究结论有证据支持建议仍不是用户授权的写操作。
2动作规格明确项目、环境、字段、旧值和新值避免把测试配置当生产。
3风险与权限确认允许执行及适当批准不能由报告自授权限。
4执行与验证按版本条件写入、读回并运行必要检查建议正确不保证执行正确。
5失败恢复超时、未知结果、回滚条件在动作前设计,而不是故障后猜。

把过程连起来。从建议到行动跨过了权限和副作用边界,需要新增工程保证。

边界与反例。为受控自动化设计示例,不构成真实生产变更授权。

依据与适用范围:[DERIVE]。示例输入和场景由本书明确设定。

记录保存在本机浏览器。

输入关键词即可检索。

↑ ↓ 选择 Enter 打开Esc 关闭 · 仅本地搜索

阅读设置

阅读设置仅保存在本机浏览器,不上传任何数据。