运行与性能

Tracing把模型调用、工具执行、交接和其他步骤连接为任务轨迹。它帮助解释过程，但记录存在不代表内容完整或结论正确。

需要区分任务、Span、事件和最终结果。并行步骤可能重叠，耗时不能简单相加。敏感Prompt与凭据不应无选择地写入日志。

原创练习：为搜索、修改、测试建立关联ID，模拟其中一步失败，检查能否定位到正确任务和版本。

完成标准是能回答“在哪一步、依据什么、发生了什么”，而不是只收集大量不可关联文本。

OpenTelemetry的GenAI语义约定尝试统一生成式AI操作的记录方式。相关规范持续演进，字段与支持情况需要按版本核对。

统一命名有利于跨系统分析，但不能替代应用的业务定义。两个系统都记录Token，计数口径仍可能不同。

原创练习：为模型请求、工具调用和任务成功定义最少字段，明确单位、来源和敏感性。

完成标准是数据可以比较和解释，不把某个发展中的属性当成所有平台已经一致支持的标准。

GenAI Span约定描述如何表示模型或Agent相关操作。父子关系与时间边界决定能否正确还原执行结构。

异步和并行任务尤其需要清楚关联；Span结束可能仅代表请求结束，不一定代表外部业务动作最终完成。

原创练习：画两个并行搜索加一次串行验证的Trace，分别计算墙钟时间与操作时间总和。

完成标准是识别关键路径和真实等待，而不是用所有Span求和夸大用户耗时。

SRE监控强调从服务行为与用户影响选择信号。日志、指标和告警各有用途，收集越多不一定越容易发现问题。

Agent监控应关注任务成功、尾延迟、持续失败和人工接管，而不只看API返回码。模型返回200但未完成任务仍是用户层失败。

原创练习：设计一个只对持续故障告警的策略，区分单次可恢复超时与大量任务被阻塞。

完成标准是告警可行动、信号能解释用户影响，避免正常波动造成持续打扰。

SLO把服务目标定义为可度量约定，错误预算帮助理解允许的失败空间与变更风险。指标必须说明范围、时间窗和成功条件。

Agent任务差异大，只读问答与自动修改不应强行使用完全相同目标。速度与质量也需同时考虑。

原创练习：为“只读分析”和“带测试的修复”分别定义成功与耗时目标，并解释为何HTTP成功不足够。

完成标准是目标能指导工程取舍，而不是写一个没有统计口径的“高可靠性”口号。

部署检查涵盖质量、成本、权限、失败处理和运行准备。API能调用只是起点，生产环境还需要监控、预算与恢复设计。

数据和工具边界、模型版本、输出验证及回滚应明确。不要把开发环境一次成功直接视为可上线证明。

原创练习：在上线前模拟限流、错误输出、无权限和工具超时，检查是否有可理解的降级结果。

完成标准是用户能知道什么已完成、什么未完成，系统不会因追求成功率而隐藏失败。

速率限制可能按请求、Token或其他资源维度实施。重试需要遵守服务反馈，并区分暂时性失败与永久错误。

指数退避和抖动可以减少集中重试，但不能修复无效参数或授权不足。具有副作用的动作重试前还要确认是否已执行。

原创练习：为限流、参数错误和网络中断分别设计处理分支，设置最大次数与总预算。

完成标准是重试有理由、有边界且可观察，不把无限循环当成自动恢复。

延迟优化需要分析请求、输入、输出、工具和编排的完整时间线。减少一次模型调用可能有效，也可能删除必要证据或验证。

首Token快不代表任务完成快；缓存命中高也不保证端到端成本低。优化应基于真实瓶颈。

原创练习：比较长输出、慢工具和重复检索三种任务轨迹，为每种选择不同改进，而不是统一压缩Prompt。

完成标准是在质量不退化的条件下改善用户任务耗时，而非只优化一个易展示指标。

把会话状态、Harness和执行环境解耦，有助于故障恢复和资源管理。小系统也可以先保持职责清晰，而不必立即拆成多个服务。

状态持久化要区分动作意图、已执行事实和待确认结果。恢复时不能盲目重放外部副作用。

原创练习：在部署请求已发出但返回丢失时模拟重启，先查询操作状态，再决定是否补偿或重试。

完成标准是恢复后的状态与真实环境一致，不只是能够继续生成文本。

模型优化应围绕任务评测，将Prompt、模型选择、训练与工具环境作为不同干预层。较便宜模型不一定带来更低成功任务成本。

错误重试、人工修复和更长流程都可能抵消单次价格优势。模型切换也会产生交接与路由开销。

原创练习：用假设成本和成功率计算两种方案，再加入失败成本，观察排序是否变化。

完成标准是依据真实任务质量—成本—延迟曲线选择，而不是只按参数量或单价决定。

工具组合影响信息如何流向模型。通过代码筛选大结果可能减少上下文，直接返回结果则更简单，但可能带来冗余。

组合能力受产品支持、权限和执行环境限制。不能假设所有工具都能任意并行或共享状态。

原创练习：比较把一千条记录全部交给模型与先用程序统计后提供摘要，两者分别需要什么验证和原始证据入口。

完成标准是减少无效搬运同时保留可追溯性，不用摘要掩盖被过滤的重要异常。