从「看懂图片」到「操作世界」：多模态智能体的范式跨越

过去三年，「多模态模型」这个词，几乎只指向一件事：视觉语言模型（VLM）——给它一张图，它能回答关于这张图的问题。图像的编码器把画面喂给语言模型，语言模型负责「描述」，整个回路到文字为止。

这个定义如今已经过时。过时的原因，不是「模型更会看图了」，而是这些系统跨过了一条真正的分界线：从「理解世界」走到「操作世界」。看、理解、推理、行动，四个环节第一次在视觉、语音与工具之间闭合成一个完整的环。过去两年那些看似各不相干的产品——Anthropic 的 Computer Use、OpenAI 的 Operator 与 Realtime API、Google 的 Project Mariner，以及字节跳动开源的 UI-TARS——其实是同一场变化的几个不同切面。

要理解这场变化，先看三条正在合流的线索。

第一条是「会操作电脑的智能体」，这是多模态 AI 能「动手」最直接的证明。这类智能体像人一样使用电脑：读屏幕、发鼠标与键盘指令。Anthropic 在 2024 年 10 月随 Claude 3.5 Sonnet 推出了第一个商用版本，当时在真实桌面任务基准 OSWorld 上只拿到 14.9%（人类约为 72.4%）。此后这条曲线的每一次抬升都值得记录：Sonnet 4 到 42.2%，Sonnet 4.5 到 61.4%，2026 年 2 月的 Sonnet 4.6 达到 72.5%，基本追平人类。OpenAI 的 Operator（2025 年 1 月）由基于 GPT-4o、经强化学习训练出的计算机操作智能体（CUA）驱动，在 OSWorld、WebArena、WebVoyager 上分别拿到 38.1%、58.1%、87%；它直接对原始像素运行「感知—推理—行动」回路，只在敏感步骤向用户确认。Google 的 Project Mariner（2024 年 12 月）在 WebVoyager 上拿到 83.5%，但每一步大约要花 5 秒。字节跳动的 UI-TARS-1.5 则把难点重新定义为「定位」：在密集、高分辨率的专业界面基准 ScreenSpotPro 上达到 61.6%，同场 Claude 只有 27.7%、CUA 只有 23.4%；而且它会在行动前先做一步显式推理——先想清楚，再动手。

第二条是「连续语音」。OpenAI 的 Realtime API（2024 年 10 月公测，2025 年 8 月 28 日随 gpt-realtime 模型正式可用）恰好是「说一句—等模型—回一句」旧范式的反面：它不再把语音识别、语言模型、语音合成三段串联，而是在一条持久连接上运行端到端的语音到语音模型。OpenAI 公布的数字是：WebRTC 下约 300 毫秒出首字、端到端 250–500 毫秒；连接原生支持「打断」——你可以在它说到一半时插话，它会立刻改道。传统级联方案通常要 1.5–3 秒，更糟的是，它会在模型看到之前，先把语气和情绪抹平成一段干巴巴的文字。

第三条是「工具调用」。函数调用已经沉淀为协议级的基础设施：gpt-realtime 新增了远程 MCP 服务器支持，以及面向电话网络的 SIP；Operator 能在任务进行中调用工具。走到这一步，智能体不再是一个「带屏幕的聊天机器人」，而是与你其余软件挂在同一张工具图上的节点。

把三条线索放在一起看，真正值得注意的不是某一项能力变强，而是它们合流了。gpt-realtime 能看你发来的一张图、听你的连续语音、经 MCP 调用外部工具、再开口回应——全程在同一个语音到语音模型里完成；Operator 能看见网页并点击。语音、视觉、行动曾经是三条产品线、三张路线图，到 2025 年变成了一项能力：一条闭合的「感知—推理—行动」回路。「多模态」的意义单位也随之改变——不再是你覆盖了多少种模态，而是你有没有真正的代理能力。

再往下拆，能看见几件被热闹掩盖的实质。

第一，真正决定体验的瓶颈已经不是理解，而是延迟，而延迟是一个架构问题。连续语音之所以「连续」，是因为 OpenAI 把三个模型压成了一个。这是针对回路本身做的工程决策，不是把模型做得更大。数字能说明它为什么关键：延迟低于约 500 毫秒时，对话是流畅的，停顿读起来像一个「正在思考的人」；500 毫秒到 1 秒之间还能忍受；一旦超过 1 秒，对话就会崩——人们开始抢话、打断。对一个还要「动手」的智能体来说，延迟更不是体验指标，而是生死线：系统能不能与世界保持实时回路——对屏幕变化立即反应、被打断后恢复、出错时自我修正。语音智能体真正的前沿工程，发生在传输与架构层，不在权重里。

第二，「看懂图片」掩盖了一个更难的瓶颈：定位。说「我看见一个按钮」和「可靠地点在 (x, y)」是两回事，后者才是智能体至今过不去的坎。OSWorld 的人类上限约 72.4%，最强智能体花了十六个月、性能提升近五倍才勉强摸到这条线——而且只在这一个基准上。换到陌生、密集、高分辨率的专业软件（ScreenSpotPro），领跑者也只剩 61.6%，前沿对话模型则直接掉到 20% 出头。与此同时，浏览器任务已基本被攻克——WebVoyager 已经超过 90%，领跑者逼近 97%。所以「操作世界」是真的，但它是分区的：简单任务与网页任务大体完成；对陌生、有状态、高分辨率软件的精确操控，才是真正的前沿。缺口在感知—定位，不在推理。

第三，技术栈的重心正从「框架」移向「模型」。早期的智能体是框架：基座模型外面裹一层提示词、工具与编排代码，灵活但脆弱、维护昂贵。UI-TARS、CUA 这类「原生智能体模型」换了一条路——直接在交互轨迹上做强化学习，把感知、推理、记忆、行动训进同一个模型。这和推理模型走过的路是同一条：能力从编排工程搬进了权重。稀缺资源随之改变：现在是高质量交互轨迹，以及一个能稳定训练它们的环境。谁掌握数据闭环，谁就掌握智能体。

第四，决定智能体能走多远的不是能力上限，而是信任。每家公司都把这类智能体放在护栏后面发布，因为「会动手」改变了风险模型：Operator 对敏感动作要求确认；Mariner 被锁在活动标签页、拒绝结账；CUA 跑在沙箱里。真正的伤口是提示注入——一个恶意网页就能在任务中途劫持智能体。OpenAI 直言，对开放网络上的智能体，这个风险「不大可能被彻底解决」。于是，真实世界的自主率是被安全与信任封顶的，而不是被模型智商封顶的。

「多模态」这个词如今被赋予了太多含义。2024–2026 年真正发生的故事是代理能力：系统跨视觉、语音与工具，保持一条实时的、闭合的「看—理解—推理—行动」回路。我们等的主要不是更聪明的模型，而是更快的回路、更准的定位，以及可信到足以放宽边界的护栏。那些能「操作世界」的智能体，已经在狭小的领域里存在；接下来十八个月，是在守住安全与速度的同时，把地图画大。