F39｜多模态与可信度：图片怎样成为输入，解释为什么有限
从具体对象与小例子开始，理解计算过程与适用条件。
本章目录
图像表示与界面行动，是两层不同问题
为什么看得懂截图，也可能点错按钮？
图像编码解决“把视觉信息变成可计算表示”；界面控制解决“在真实软件的当前状态做正确动作”。静态图里的坐标、页面当前布局、点击结果必须连接起来。模型对图片的描述再流畅，也不能替代操作后确认。
输入与适用条件：仅4×4灰度像素与构造界面流程；不代表所有多模态模型的预处理实现，也不冒充真实浏览器操控结果。
1 / 4 · 图像也是规则数字表
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
独立的4×4灰度教学图，每格是一个像素值。真实彩色图还会有颜色通道；像素值不等于文字Token ID。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
为什么需要
让模型处理非文本信息，同时让实际界面动作可核验。
怎样实现
区分表示链与行动链；可靠API存在时优先用结构化接口。
可能的代价与误解
裁剪缩放坐标错位、截图过期、视觉幻觉、点击重试副作用。
如何判断是否做对
核对像素块顺序与坐标变换；每次行动后观察环境变化。
图片在计算机里也是有形状的数据
一张彩色图片可以表示为高H、宽W、颜色通道C的数字数组。RGB有3个通道；某些库用[H,W,3]，另一些模型用[B,3,H,W]，次序不同但需一致理解。
一个像素不是一句话；模型要用视觉处理模块把像素转换成能与后续网络配合的表示。这里的Embedding不再是对文字Token编号直接查同一张词表。
图像Patch怎样变成一串向量
一种教学路径是把224×224图片切成16×16小块，称为patch。每边14块，共196块。每块若有3通道，原始数字数为16×16×3=768。
可以把每块展开成长度768的一排数，再通过学到的变换变成d个数，得到196个位置的表示，并配合位置机制。实际模型可能用不同尺寸、动态分辨率、视觉编码器或压缩器，本例不代表所有商业模型。
视觉表示怎样交给语言模型
视觉编码器处理图像；投影器或适配模块把视觉表示转成语言模型可用形式；也可能通过交叉注意力让语言侧读取视觉信息。最后输出文字仍涉及语言模型的生成过程。
CLIP式图文对比训练让匹配图文的表示接近，提供视觉语言关联，但这不等于自动具备完整对话生成或可靠GUI操作能力。
GUI Agent为什么要反复观察
GUI是图形用户界面。截图中某按钮在(x,y)，实际窗口缩放或滚动后位置可能改变。Agent需要“观察当前界面→提出动作→执行→再次观察核验”，而不是把首次看到的坐标一直播放。
截图尺寸与桌面坐标可能存在缩放：若截图宽1000而实际目标画布宽2000，简单同尺度示例中横坐标可能乘2；实际还要考虑偏移、窗口边界和平台设置，不能只凭比例盲点。
有可靠结构化API时，往往更易验证和控制；必须操作界面时才承担视觉定位与状态变化的额外不确定性。
模型自信、概率与校准
模型说“确定”是一种语言输出；下一Token概率是局部生成分布；校准calibration考察预测可信度与实际正确率是否匹配。
例如某组100项预测都被标为80%可信，若实际约80项正确，这一组在该统计意义上较校准。它不证明每项答案具体正确，也不保证换分布后仍校准。
选择性回答允许证据不足时继续检索、明确不确定或拒绝下结论。正确弃答与无意义回避也要由任务目标区分。
可解释性研究到底解释哪一层
查看注意力权重、某些中间激活或稀疏特征，可以提供机制线索。稀疏自编码器SAE尝试用相对稀疏的特征组合重构激活；稀疏表示只让部分特征活跃，不等于每个特征天然对应唯一人类概念。
重构得好不自动证明因果解释正确；一个特征与某输出相关，也不证明它独自导致该输出。需要干预、对照和适用范围。
模型生成的文字解释也可能只是合理叙述，不能据此获得完整内部运算或隐含推理的真实记录。对实际工程，优先用可见输入、工具、版本和验证结果诊断，再谨慎使用内部解释研究。
截图缩放之后，按钮坐标为什么必须换算
输入与条件。桌面原图1920×1080，为模型展示成960×540。按钮在展示图中的中心为(400,200)。先假设只有等比例缩放，没有裁剪、DPI或滚动偏移。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1记录变换 | 宽高都缩到1/2 | 坐标映射比例2。 |
| 2还原点击点 | 展示坐标乘2 | 原图对应(800,400)。 |
| 3执行前检查 | 确认截图仍是当前页面 | 页面已滚动时旧坐标失效。 |
| 4执行一次动作 | 点击后重新观察 | 检查按钮状态或结果页面，不凭点击回执判成功。 |
| 5编码图像对照 | 4×4单通道图按2×2块切 | 得到4个patch，每块4数；真实视觉编码器还有学习投影等处理。 |
把过程连起来。视觉理解与执行闭环都需要坐标系和状态对应。描述“点了按钮”不等于完成用户目标。
边界与反例。图像patch和坐标是概念示例，不代表所有视觉模型采用同样分块或所有操作工具接受原图像素坐标。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。
课后自检
224×224图片按16×16无重叠切块，共多少块？
查看参考答案收起参考答案
注意力最大的位置是否一定是最终答案的唯一原因？
查看参考答案收起参考答案
机制依据：[CLIP][OSWORLD][SAE][CALIBRATION]。本节数值与情景除另注外均为原创教学示例；来源不代替中文讲解。