技术深度解析
CUA的架构围绕三大核心支柱构建：沙盒环境、智能体SDK和基准测试套件。沙盒是最关键的工程组件。它提供了一个无头虚拟机（Linux下利用QEMU/KVM等技术，跨平台支持可能使用VirtualBox或类似抽象层），可运行macOS、Linux或Windows。其关键创新在于使用了虚拟显示缓冲区（如虚拟帧缓冲区），智能体将其“看到”为像素数据，同时配有一个虚拟输入系统，能将智能体动作（点击、按键、拖拽）转换为系统级的HID事件。这创造了一个高保真、可控制的真实桌面模拟环境。
SDK是一个Python库，将此环境暴露给智能体。它提供底层观察（屏幕捕获，可能包括OCR和可访问性树数据）和动作原语（mouse.move(x,y)、keyboard.type("text")、click()）。更高级的抽象可能包括元素检测或任务序列化功能。智能体本身通常是视觉-语言-动作模型（VLA），以屏幕像素（可能还有其他状态描述符）为输入，输出一系列动作序列。CUA本身是智能体无关的；它是基础设施，基于GPT-4V、Claude 3或CogVLM、LLaVA等开源VLM构建的智能体都可以在此平台上进行训练和测试。
基准测试套件定义了衡量进展的任务。这些并非简单的“点击按钮”测试，而是复杂的多模态工作流。例如：“打开日历应用，为下周二下午3点创建一个标题为‘团队同步’的新事件，并邀请‘bob@company.com’”；或“在文件资源管理器中，找到上周修改过的所有PDF文件，将其压缩为ZIP存档，并通过邮件发送给自己。”成功与否通过任务完成率、所执行步骤数（效率）以及在多次环境重置中的鲁棒性来衡量。
该领域一个相关且活跃的开源项目是OpenAI的‘Voyager’论文及其相关代码，它展示了一个由LLM驱动的智能体，可以通过与游戏GUI交互来学习玩《我的世界》。虽然针对游戏，但其迭代提示、技能库创建和环境反馈的原理直接适用于CUA的领域。另一个是微软的‘AutoGen’框架，它侧重于多智能体对话模式，但正日益集成可控制UI的工具。
| 基准测试任务类别 | 示例任务 | 成功指标 | 当前SOTA智能体预估成功率 |
|---|---|---|---|
| 基础导航 | 启动Firefox并导航至特定URL。 | URL正确加载。 | ~95%+（在受控沙盒中） |
| 表单填写与数据录入 | 使用提供的详细信息填写基于网页的联系表单。 | 表单提交，数据已验证。 | ~70-80% |
| 跨应用工作流 | 截取屏幕截图，在基本图像编辑器中打开，进行裁剪，并保存至桌面。 | 正确文件保存在正确位置。 | ~40-60% |
| 错误恢复与适应 | 任务因弹出对话框而失败；智能体必须关闭对话框并继续。 | 任务在中断后仍能完成。 | <30% |
| 创意软件使用 | 在文档编辑器中，将给定段落格式化为符合提供的样式指南。 | 实现视觉/样式匹配。 | <20% |
数据启示： 上表显示，随着任务从简单、确定性的导航转向复杂、创意性或易出错场景，智能体的能力急剧下降。这突显了当前的前沿挑战：在非结构化的数字环境中实现鲁棒性和高级推理，这正是CUA的主战场。
关键参与者与案例研究
计算机使用智能体领域正吸引着从科技巨头到雄心勃勃的初创公司在内的多元化参与者，每家都有不同的战略路径。
主要科技集成商：
* 微软 在集成方面 arguably 走得最远，其 Copilot 系统正日益获得可操作Office套件等应用的“动作”。他们在 Windows Copilot Runtime 和 AutoGen 等智能体框架上的研究，使其有望主导操作系统级的智能体平台。
* 谷歌 正采取双轨路径，一方面将 Gemini 模型应用于 Android 生态系统控制，另一方面通过内部“Project Astra”式演示展示实时多模态交互。其DeepMind在具身化和智能体AI方面的研究提供了基础科学支撑。
* 苹果 是最大的变数，其通过 Apple Intelligence 专注于设备端AI。一个深度集成、注重隐私、能控制macOS和iOS的智能体可能成为重要差异化优势，尽管该公司在此具体领域的研究公开程度较低。
专业初创公司与研究实验室：
* Cognition Labs（Devin的创造者）展示了一个强大的AI软件工程师，能够在基于浏览器的环境中执行复杂的编码任务。