技术深度解析
实现运行时UI控制的核心创新，在于将多个先进AI子系统整合为协调可靠的整体架构。其核心是规划与推理引擎，通常采用GPT-4、Claude 3等大型语言模型（LLM），或专门针对指令遵循与思维链推理微调的开源模型。该引擎接收用户高层目标（如“查找下月最便宜的赴东京机票”），并将其分解为一系列原子操作。
连接抽象计划与具体浏览器环境的关键桥梁是感知模块。目前主流采用两种路径：
1. 基于DOM的解析：智能体通过程序化方式访问网页底层的文档对象模型（DOM）树。它需从数千个节点中筛选出交互元素（如`<input>`、`<button>`、`<select>`），并根据周边文本、ID与类名理解其语义功能。这种方法快速精准，但对重度JavaScript渲染的单页应用（SPA）较为脆弱——DOM可能无法反映视觉状态。
2. 计算机视觉（CV）分析：智能体对视口进行截图，并利用GPT-4V或开源替代方案（如LLaVA）等视觉语言模型（VLM）“看见”界面。VLM可识别可点击按钮、文本字段和下拉菜单，通常能提供空间坐标。此方法对复杂动态前端更具鲁棒性，但计算负载更大、速度更慢。
Adept等领先方案采用混合策略，融合DOM上下文与视觉理解以提升稳健性。随后，动作执行层将计划动作（如“点击‘搜索’按钮”）转化为Playwright或Puppeteer等浏览器自动化框架的精确指令。
关键开源项目正在推动该技术民主化。Open Interpreter提供了本地化、LLM驱动的智能体，可控制浏览器、终端和桌面。其`01-project`仓库因致力于创建开源通用计算机使用智能体而备受关注。另一值得关注的项目是Smolagents，专注于为浏览器任务构建轻量级专用智能体，强调效率与可靠性而非单纯扩大模型规模。
性能主要通过任务成功率、完成时间及跨网站鲁棒性衡量。早期基准测试揭示了陡峭的复杂度曲线：
| 任务复杂度 | 示例任务 | 基线成功率（简易智能体） | 高级智能体成功率（混合方案） | 平均完成时间 |
|---|---|---|---|---|
| 简单 | 点击显著的“登录”按钮 | ~95% | ~99% | 2-5秒 |
| 中等 | 在亚马逊搜索商品并按Prime配送筛选 | ~60% | ~85% | 15-30秒 |
| 复杂 | 在旅游网站预订含选座功能的多城市航班 | ~20% | ~55% | 60-120秒以上 |
数据启示：数据显示，虽然简单任务已接近人类可靠性水平，但涉及跨页面决策的复杂多模态任务仍是重大挑战。成功率随复杂度骤降，凸显了智能体内部规划与世界建模能力亟待提升。
关键参与者与案例研究
构建主导性AI智能体平台的竞赛日趋激烈，初创企业与科技巨头正采取差异化策略。
Adept是先行者，其开发的Action Transformer (ACT-1)模型专门针对软件UI交互训练。与通用LLM不同，ACT-1基于数十亿用户交互序列（击键、点击）与屏幕状态配对数据进行训练，使其能预测工作流中的下一步操作。Adept采用垂直整合策略，同时开发基础模型与终端产品，旨在实现对Salesforce、SAP等企业软件的深度可靠控制。
OpenAI虽未发布专用智能体产品，但通过GPT-4与GPT-4V强大的推理与视觉能力赋能整个生态。无数开发者构建的智能体将OpenAI API作为“大脑”。类似地，Anthropic的Claude 3凭借其出色的指令遵循能力和长上下文窗口，成为规划复杂任务序列的热门选择。
Microsoft正将智能体能力深度融入其生态。其Copilot系统正从编码助手演变为潜在可操作Windows及Microsoft 365套件内应用的通用助手，这得益于其独特的操作系统层级集成优势。
活跃的开源与独立开发者生态同样至关重要。Open Interpreter与Smolagents等项目提供了低门槛入口。Robocorp、UiPath等公司正将LLM集成至传统机器人流程自动化（RPA）平台，打造能处理非结构化任务的AI增强型机器人。