24｜多模态与计算机操作：表示、定位、观察—行动闭环
目标：理解图像/音频进入模型与Agent操作界面的区别，并能设计可验证、可恢复的GUI任务。未在本教材运行商业视觉模型或OSWorld基准。
本章目录
沿着对象与状态理解本章
截图中的坐标要对应当前实际界面；动作后重新观察，而不是沿旧画面连续点击。
下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制，不与本章其他独立例子的数值暗中接续。
图像表示与界面行动，是两层不同问题
为什么看得懂截图，也可能点错按钮？
图像编码解决“把视觉信息变成可计算表示”；界面控制解决“在真实软件的当前状态做正确动作”。静态图里的坐标、页面当前布局、点击结果必须连接起来。模型对图片的描述再流畅，也不能替代操作后确认。
输入与适用条件：仅4×4灰度像素与构造界面流程；不代表所有多模态模型的预处理实现，也不冒充真实浏览器操控结果。
1 / 4 · 图像也是规则数字表
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
独立的4×4灰度教学图，每格是一个像素值。真实彩色图还会有颜色通道；像素值不等于文字Token ID。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
为什么需要
让模型处理非文本信息，同时让实际界面动作可核验。
怎样实现
区分表示链与行动链；可靠API存在时优先用结构化接口。
可能的代价与误解
裁剪缩放坐标错位、截图过期、视觉幻觉、点击重试副作用。
如何判断是否做对
核对像素块顺序与坐标变换；每次行动后观察环境变化。
1. 多模态输入不是给文本模型“加一张图”
常见视觉语言系统把图像分块或经过视觉编码器得到表示，再通过投影或其他交互机制与语言模型连接；不同架构处理方式差异很大。图像分辨率、裁剪、缩放与位置影响可见细节和成本，不能把所有图片都当成一个固定Token。
音频还涉及采样率、帧特征、编码与时间对齐；语音识别文本只是音频中的一部分信息，语气、说话人和时间关系不一定保留。多模态任务需要区分“转成文字再处理”和“模型直接使用模态表示”的能力边界。
本书只讲公开通用结构，不编造Codex、Claude或Copilot背后某个未公开多模态网络。实际模型支持的输入类型与限制，应查对应接口版本。[N97][N98][N99]
2. GUI Agent为何比普通工具调用更不确定
结构化API可以用对象ID指定目标；GUI Agent可能只能看到截图或DOM，从中定位按钮、输入框和当前状态。截图到动作之间界面可能变化，坐标可能因滚动、缩放或窗口尺寸失效。点击动作返回成功，也不代表业务操作成功。[N81]
一个闭环应是：观察当前状态，确定目标，执行有限动作，再观察并验证结果。连续长串盲点点击容易因第一个偏差导致后续全部失效。对于高风险提交，在最终动作前重新确认目标对象与页面状态。
DOM和视觉各有局限。DOM可以提供结构和语义，但canvas、远程桌面或自定义控件可能不可用；截图可以反映视觉布局，但文字细节与元素定位可能不精确。可用可靠API时优先API，必须界面操作时再使用GUI。
3. 坐标与状态绑定
如果模型在缩放后的截图上预测坐标，执行器必须按原始窗口尺寸转换；裁剪区域还需加偏移。坐标变换应作为确定性程序验证，不交给模型口头估算。窗口缩放、DPI和滚动位置要纳入当前观察状态。
对于动态页面，可把动作绑定到最近截图版本或可见元素条件。若页面已改变，重新观察，而不是继续使用旧坐标。单次截图的“看见”不是长期有效事实，这与源码版本和检索版本的新鲜度原则相同。
文字识别也不保证正确。金额、邮箱、版本号等关键字段应通过结构化读取或双重核验确认，尤其在发送、购买、删除等动作前。不能仅凭视觉上相似就认为目标一致。
4. Browser任务中的可信边界
网页正文是不可信内容，即使浏览器已经登录用户账号。页面可诱导Agent导航、下载或泄露信息。工具应限制可访问范围、下载执行和外部提交权限。登录态代表能力，不代表当前任务授权所有动作。
研究任务通常只需要读取与汇总；填写表单不等于提交；生成草稿不等于发送。报告必须区分准备与实际完成。跨站跳转后也应重新检查目标域与资源，不把旧页面信任自动传递。
页面滚动了200像素，旧坐标为何点错
输入与条件。截图按钮视口坐标y=300。取得截图后页面向下滚动200像素，按钮仍在同一文档位置。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1原关系 | 文档y=视口y+scrollY | 当时scrollY=0，文档y=300。 |
| 2滚动后 | scrollY=200 | 新视口y应为100。 |
| 3旧坐标点击 | 仍点y=300 | 会点到别的内容。 |
| 4稳健流程 | 重新观察或使用可靠元素定位 | 确认目标身份和可见性。 |
| 5结果验证 | 保存后检查实际值 | 不以坐标命中作为业务成功证据。 |
把过程连起来。观察与行动之间页面状态变化会使坐标过期，GUI也有版本一致性问题。
边界与反例。简单一维滚动例省略固定定位、缩放和iframe；实际定位方式需按界面结构核验。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。
5. 多模态任务怎样验收
OSWorld等基准在真实计算机环境中评价开放式任务，强调最终环境状态，而不只是截图描述正确与否。不同操作系统、应用版本、分辨率和初始状态会影响结果，不能把一个基准分数直接解释成任意桌面自动化可靠性。[N44]
实际验收应尽量读取独立结果：文件是否生成且内容正确、表单数据是否保存到预期记录、页面状态是否反映目标。截图可做辅助证据，但“按钮看起来被按下”不是业务完成证明。
恢复实验应包含加载慢、弹窗、元素移动、页面刷新、登录过期和网络失败。动作是否幂等也重要：重复点击“创建”可能产生多条记录。第08章unknown与对账思想在GUI中同样适用。
6. 深度应用中的组合策略
一个报表任务可以用API提取数据、程序计算、浏览器检查展示，避免让视觉模型逐格读数再做数学。一个UI回归任务可以用浏览器自动化控制状态、截图检查布局、结构化断言验证功能。组合方式应让每个工具承担擅长部分。
不要为了“全程AI”放弃确定性工具。反过来，确实依赖视觉理解、复杂文档布局或非结构化界面时，多模态模型能补充传统自动化缺口。边界由实际可观察能力决定，而不是技术偏好。
7. 验收题
模型准确说出截图上有一个“保存”按钮，能否认定会操作该应用？不能。识别、定位、执行、确认和恢复是不同能力，需要完整闭环测试。高级应用要求系统知道它什么时候没有足够证据继续，而不是不断点击直到看起来像成功。