27｜事实可靠性、多模态与可解释性：能力边界在哪里
本章目录
本章预备知识
流畅、自信、内部解释和外部正确性不是同一量。图片表示也要先进入数值计算；可解释性研究帮助观察部分机制，不能自动恢复一切决策原因。
本章各题列出所需基础。可先完成相应基础课，也可通过自检确认掌握程度。
进入深读前的小检查：把“模型说有90%把握”与“过去同类90%置信答案确实答对90%”区分，后一种才涉及校准证据。
术语带虚线时可点击速查。公式中的字母先看定义；不要用猜缩写替代推导。
深入系统也包括知道系统不能证明什么。模型输出流畅不等于事实正确；自报置信度不等于校准；看见截图不等于理解业务状态；找到相关激活不等于解释了全部原因。
沿着对象与状态理解本章
视觉输入的向量、输出概率以及可解释性线索各自表达不同东西。切成图块不是已经识别控件；注意力最大也不是已证明因果解释；高概率更不是现实正确率。
下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制，不与本章其他独立例子的数值暗中接续。
图像表示与界面行动，是两层不同问题
为什么看得懂截图，也可能点错按钮？
图像编码解决“把视觉信息变成可计算表示”；界面控制解决“在真实软件的当前状态做正确动作”。静态图里的坐标、页面当前布局、点击结果必须连接起来。模型对图片的描述再流畅，也不能替代操作后确认。
输入与适用条件：仅4×4灰度像素与构造界面流程；不代表所有多模态模型的预处理实现，也不冒充真实浏览器操控结果。
1 / 4 · 图像也是规则数字表
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
独立的4×4灰度教学图，每格是一个像素值。真实彩色图还会有颜色通道；像素值不等于文字Token ID。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
为什么需要
让模型处理非文本信息，同时让实际界面动作可核验。
怎样实现
区分表示链与行动链；可靠API存在时优先用结构化接口。
可能的代价与误解
裁剪缩放坐标错位、截图过期、视觉幻觉、点击重试副作用。
如何判断是否做对
核对像素块顺序与坐标变换；每次行动后观察环境变化。
Q105｜为什么LLM会“自信地说错”？怎样区分置信度、校准与选择性回答？
核心回答
生成模型选择的是在给定上下文和训练行为下可能出现的输出，不是在每个事实前都调用真值数据库。错误可能来自参数知识缺失、证据错误、检索遗漏、推理失误或不适用的表达偏好。自信语气与实际正确率之间需要实证校准，不能自动等同。[TRUTHQA][CALIBRATION]
从概率对象开始区分
Token概率描述“下一Token”的分布，不直接是整段答案正确的概率。一段正确答案有多种措辞；一个错误答案也可能由一连串高概率词组成。把平均Token概率作为事实置信度，会混入句式常见程度、长度和语言风格。
模型自报“90%把握”是另一个输出，需要通过已知真值任务检查。二分类情形，Brier分数是平均(pᵢ−yᵢ)²。例如三次预测概率0.9、0.6、0.2，真实结果1、0、0，分数为(0.01+0.36+0.04)/3≈0.1367。这个分数同时反映概率质量，不代表任何单个问题已经被证明。
可靠性图把预测分到区间，比较区间平均置信度与实际正确率。ECE用各区间占比加权两者差的绝对值，但结果依赖分箱、样本量和任务分布；一个总体ECE低的模型，仍可能在小众高风险任务上严重失准。
选择性回答允许系统在证据不足时拒答或请求补充。需要同时看覆盖率与已回答部分的错误率：只回答最简单的10%问题，错误少并不说明系统整体强。工程上应报告“回答了多少”和“回答得怎样”，不能单看准确率。
四次都说80%把握，实际只对两次，怎么算
输入与条件。四个二分类判断都给p=0.8，真实标签为[1,1,0,0]。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1前两项误差 | (0.8−1)^2 | 各0.04。 |
| 2后两项误差 | (0.8−0)^2 | 各0.64。 |
| 3Brier均值 | (0.04+0.04+0.64+0.64)/4 | 0.34。 |
| 4校准观察 | 这一组声称80%，实际50%为真 | 呈现过度自信迹象。 |
| 5证据边界 | 只有4项 | 不能精确估计模型整体校准；应扩大同类问题样本并检查概率定义。 |
把过程连起来。置信度不是写一个百分数，而是概率陈述与后续结果的可验证关系。
边界与反例。自然语言“很确定”未必能直接当成校准概率；多分类Brier定义也需另说明。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。
追问：检索到了真实来源，就不会幻觉了吗？
仍可能错读条件、引用不支持的段落、混合不同版本或在证据之外补细节。RAG减少部分知识缺失，但引入检索和证据整合的新失败点。需要主张级支持检查，而不是只检查答案是否带链接。
追问：让模型多次回答并多数投票能解决吗？
对部分可判定任务可能改善，但多次错误往往相关：相同模型和上下文会共享误解。多数一致不是事实证明。若能调用独立计算器、编译器或原始数据，通常比重复问同一问题更能改变证据条件。
追问：是否可以把低概率直接设为拒答阈值？
阈值要在代表性数据上校准，并考虑错误代价、覆盖目标和分布变化。不能把某个Benchmark上的0.8搬到所有业务。上线后还需观察新类别、语言和复杂度，必要时重新校准。
Q106｜Self-reflection为什么有时越改越错？怎样设计有效反馈？
核心回答
自我反思能重新组织推理或发现显式矛盾，但没有新证据时也可能重复原有盲点、错误推翻正确答案。有效反馈应具体指向可检查的错误与外部结果，而不是泛泛要求“再仔细想一次”。[REACT][EVALS]
沿着一次修复循环看反馈质量
模型写了排序函数，测试显示相同键值的元素次序改变。低质量反馈是“代码不够好，请改进”；高质量反馈是输入、预期、实际输出以及稳定性要求。后者缩小候选错误空间，模型可以检查比较器与排序算法，而不是重写无关模块。
反馈还要确认自身可信。一个旧版本测试日志不能证明新代码错误；一个模型生成的评语可能误解需求。反馈记录应携带版本、执行命令和失败条件。修复后只接受新运行的结果，避免把“已经改了”的自然语言当作缺陷关闭依据。
停止条件同样重要：同一个失败签名连续出现，说明当前策略没有新增进展，应该换证据或明确受阻。无限自我Review会放大成本，也增加无关修改。对于小问题，审查阶段直接修复并验证，通常比重新开启整套分析更合理，但要保留修改范围和独立验收。
反思三遍都支持同一猜测，什么时候仍无进展
输入与条件。模型猜“错误来自缓存”，三次反思都只读自己上一轮解释，没有读取日志或做对照。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1第1次猜测 | 缓存可能过期 | 是待验证假设。 |
| 2第2/3次 | 换不同措辞重复同一原因 | 新增文本不等于新增证据。 |
| 3引入可区分测试 | 同请求在清缓存和保留缓存条件下比较 | 控制其他变量。 |
| 4结果反例 | 两种条件都同样失败 | 削弱缓存是唯一原因的说法，应检查其他路径。 |
| 5停止空转 | 无法获得新证据时标明不确定 | 不因解释越来越长就提高确信程度。 |
把过程连起来。反思的价值在于纠错或产生可验证行动，不在于重复审阅自己就自动变真。
边界与反例。一次对照也可能受其他干扰，不能无限夸大反证；教学案例强调信息增量。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。
追问：独立Reviewer是否一定比自评可靠？
不一定。若它获得同一段错误摘要、同样模型和同样缺失证据，仍会相关失败。独立性的关键是不同证据路径、可执行检查和明确标准，而不是给另一个Agent起名“Reviewer”。
追问：模型指出一个潜在问题，就应该马上加防御代码吗？
先确认实际触发条件、影响范围和已有约束。理论上可想象的边界不等于当前系统必须处理的风险。无证据地堆防御可能改变语义、增加复杂度，反而引入缺陷。
追问：反思结果能直接存成经验吗？
应保存为带证据状态的候选。任务失败后的解释可能只是事后合理化；只有经过源码、测试或可核验结果支持，才适合升级为可复用指导。适用范围与反例也应一起保留。
Q107｜多模态模型怎样把图片接入语言模型？GUI Agent又多了哪些环节？
核心回答
常见多模态架构用视觉编码器把图像转换为特征，再经投影、交叉注意力或其他融合结构供语言模型使用；具体设计并不统一。GUI Agent在模型外还需要截图采集、坐标或元素映射、操作执行和结果观察。图片进入上下文，不意味着模型拥有实时屏幕或操作权限。[CLIP][OSWORLD]
从像素到动作的运行链
一种教学架构把图像切成patch，每个patch转换为向量，视觉Transformer生成特征，再投影到语言侧可用维度。分辨率、裁剪和patch布局影响能保留的细节；文本太小或关键控件在裁剪外，后续推理再强也无法利用不存在的信息。
CLIP的核心是图像与文本表示的对比学习对齐，它本身不等于一个能对图片进行任意长文本回答的完整聊天模型。把视觉表示接入生成式语言模型，还需要相应连接和训练。不同产品的图像Token计费、内部编码和高分辨率策略不可仅凭界面推断。
GUI系统先采集时间t的截图，模型选择某元素或坐标，执行器在t+Δ操作。若页面在Δ期间重排，正确识别也可能点错。因此执行器可以结合DOM或可访问性树定位稳定对象，并在关键动作后重新观察。截图、元素ID、缩放和滚动偏移应属于同一观察版本。
一张4×4图分成四块，进入模型后有几个位置
输入与条件。只考虑单通道4×4图，像素按行是1—16；每块2×2，不重叠、不补齐，教学投影把每块4个数映射为2个数。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1取块 | 左上[1,2,5,6]，右上[3,4,7,8] | 不是直接把一整行当一个块。 |
| 2另两块 | 左下[9,10,13,14]，右下[11,12,15,16] | 共4个图块。 |
| 3展平 | 块张量[4,2,2]→[4,4] | 每个位置有4个像素值。 |
| 4投影示例 | W把第1、3项相加为一维，第2、4项相加为另一维 | 输出[[6,8],[10,12],[22,24],[26,28]]。 |
| 5加入位置 | 保留四块原本的二维排列信息 | 否则仅凭向量集合难以区分空间布局。 |
把过程连起来。图像位置的来源可以是图块，而不是文字Token；两者最终仍需对齐到模型支持的表示接口。
边界与反例。仅为patch投影教学，不是任何商业视觉编码器的真实预处理；RGB、多分辨率和特殊Token另有规则。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。
追问：有DOM还需要截图吗？
DOM提供结构与文本，但未必完整表达视觉遮挡、画布内容和实际可见状态；截图提供视觉，但语义对象定位可能不精确。两者互补，选择取决于环境。不能因为DOM存在就忽略按钮被遮挡，也不能只靠像素猜已有稳定元素标识。
追问：多模态输入也有Prompt Injection吗？
有，不可信文字可能出现在截图、图片或界面中。识别出文字后仍必须保留来源级别，不能把图中命令当成用户授权。视觉输入的信任边界与文本工具结果相同。
追问：为什么不能用视觉模型置信度代替动作确认？
视觉置信度针对“看到什么”，不证明“操作后业务状态如何”。提交、删除或支付是否生效必须观察结果或查询系统。确认对象和动作对象不同，是GUI可靠性的核心。
Q108｜模型可解释性研究真的能告诉我们“它为什么这样回答”吗？
核心回答
可解释性提供研究内部表示与因果机制的方法，但一个激活相关性、注意力权重或可读推理文本不能完整解释模型决策。需要区分观察、干预与泛化证据，避免把局部现象扩展为整个系统的完整说明。[SAE][TR]
从激活到特征，再到因果检验
语言模型的隐藏向量可能把多个概念叠加表示。稀疏自编码器尝试用较多稀疏特征重构激活：编码得到稀疏系数，解码线性组合逼近原向量，同时约束稀疏度。可检查某特征在什么文本上激活，但给它起名“编程错误特征”只是对观察的概括，不是天然语义标签。
进一步可以抑制、增强或替换特征，观察输出改变。这比单纯相关更接近因果证据，但干预可能偏离自然激活分布，也可能同时影响多个行为。重构误差、特征分裂、未捕获方向和数据选择都会限制结论。
对于工程诊断，先检查可观测输入、工具结果、版本与测试，往往比直接追踪神经元更实用。内部解释研究不能替代业务验收；同样，模型生成的“我这样做是因为……”是另一段模型输出，不保证忠实记录内部计算。
Attention权重高，能否证明它就是答案的原因
输入与条件。某位置注意力权重0.9，但对应V向量很小；另一位置权重0.1但V很大。标量V分别为0.01和10。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1计算贡献 | 0.9×0.01=0.009 | 高权重位置贡献很小。 |
| 2另一贡献 | 0.1×10=1 | 低权重位置贡献更大。 |
| 3汇总 | 输出1.009 | 只看权重条形图会误导。 |
| 4因果干预 | 在受控模型中替换某个V，观察输出及后续变化 | 比相关权重更接近验证具体机制。 |
| 5完整边界 | 还存在残差、其他头、层和非线性 | 单个干预结果也不等于完整解释所有行为。 |
把过程连起来。注意力权重描述混合系数，不是自动生成的全局因果归因。
边界与反例。标量算例只否定“高权重必然高贡献”的简单推断；真实因果分析要控制分布偏移和其他路径。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。
追问：注意力权重最高的Token就是答案原因吗？
不能直接这样推断。输出还经过Value投影、多个头、残差、MLP和后续层；高权重不等于唯一贡献，低权重信息也可能通过其他路径影响输出。需要更系统的归因或干预实验。
追问：找到一个危险行为特征，是否可以一劳永逸删除风险？
不能保证。行为可能分布在多个特征与路径中，干预也可能损害正常能力。需要多场景评测和防御层，不能把单个内部特征当成完整安全开关。
追问：为什么仍值得学习可解释性？
它能帮助区分“观察到行为”与“理解产生机制”，也提供研究模型表示和因果作用的方法。对于使用者，最重要的收获是认识解释证据的强弱，而不是记住一批特征名称。