技术深度解析
“DOM即接口”的技术前提是将浏览器视为智能体的高保真模拟环境。与返回结构化数据的API调用不同，DOM提供了页面内容、样式和可交互元素的丰富层级表示。智能体的核心任务是将高级指令（如“预订下午3点的会议室”）转化为一系列低层级的DOM观察与操作动作序列。
现代实现方案通常结合以下几个组件：
1. DOM解析与语义增强：原始HTML被解析，但关键上下文来自计算样式、元素可见性、边界框和可访问性属性（如`aria-label`、`role`）。Microsoft的Playwright或Google的Puppeteer等框架提供了捕获这种增强DOM状态的API。开源项目`agentdom`（一个研究原型，约2.3k星）展示了一个抽象层，可将DOM元素转换为描述可交互“组件”的JSON模式，使其更适配LLM处理。
2. 视觉定位：纯DOM分析可能遗漏由布局、图像和视觉分组传达的关键线索。领先的解决方案，例如Cognition Labs（Devin的创造者）和OpenAI的实验性浏览功能，都融入了计算机视觉技术。它们使用多模态LLM（如GPT-4V或Claude 3 Opus）来处理截图和DOM数据，使智能体能理解一个样式化的按钮就是“提交”按钮，即使其HTML ID模糊难辨。
3. 动作规划与执行：基于增强后的状态，LLM规划逐步的动作序列。动作被映射到精确的浏览器自动化命令：`click(xpath='//button[@aria-label="Search"]')`、`type(text='San Francisco', selector='#destination')`、`scroll(deltaY=500)`。可靠性需要健壮的错误处理和状态验证——例如检查点击是否真正触发了页面加载或打开了模态框。
4. 记忆与状态管理：与无状态API不同，浏览是有状态的。智能体必须在页面导航间保持上下文，管理多个标签页，并记住从前序步骤中提取的数据。这通常涉及一个记录观察和动作的工作记忆模块。
性能瓶颈在于延迟和成本。通过视觉模型处理高分辨率截图费用高昂。因此，关键的工程优化在于战略视觉：利用DOM识别感兴趣区域，仅将这些区域的裁剪截图发送给视觉模型，从而大幅减少token消耗。
| 方法 | 主要输入 | 优势 | 劣势 | 单步典型延迟 |
|---|---|---|---|---|
| 纯DOM | HTML/CSS/可访问性树 | 快速、轻量、选择器精确 | 对视觉上下文盲视，在重度JS/Canvas应用上易失效 | 100-300毫秒 |
| 纯视觉 | 截图像素 | 像人类一样看到UI | 缓慢、昂贵、文本精度差 | 2-5秒 |
| 混合（DOM+视觉） | DOM + 战略截图 | 鲁棒性强，理解视觉语义 | 架构复杂，开发成本较高 | 500毫秒-2秒 |
核心数据洞察：混合方法虽然在架构上更复杂，但为实现人类级鲁棒性提供了唯一路径，其较高的单步延迟因此具备合理性。延迟范围（0.5-2秒）至关重要；超过2-3秒，智能体完成任务的时间对于面向用户的应用而言将变得不切实际。
关键参与者与案例研究
当前生态可分为两类：一是推动此范式的基础设施提供商，二是在其上构建智能体的产品公司。
基础设施与框架领导者：
* OpenAI 已为ChatGPT迭代了浏览功能，从纯文本模式发展到可能采用混合分析的更复杂系统。他们的重点是使其模型能够作为通用网络智能体运行。
* Anthropic的Claude 在其桌面应用中展示了先进的网页理解能力，能够分析上传的网页截图并指导用户。推出正式的浏览智能体是合乎逻辑的下一步。
* Microsoft 凭借Playwright（浏览器自动化的事实标准）及其与OpenAI的深度集成占据独特地位。GitHub仓库`playwright-ai`（一个约1.1k星的社区项目）展示了早期实验：使用LLM从自然语言生成Playwright脚本，直接将自动化引擎与智能体逻辑相连。
* Cognition Labs（Devin）和Reworkd（AgentGPT）已开源了基础性工作。Cognition Labs处理长周期网络任务的方法因其复杂的规划与恢复机制而备受关注。
产品与垂直领域智能体先驱：
* Adept AI 或许是这一理念最直言不讳的支持者。他们的ACT-1模型被明确训练为通过像素流与软件UI（如Salesforce或Ariba）交互，将屏幕视作其主要接口。尽管并非严格基于DOM，但其核心理念——直接操作现有界面——与“DOM即接口”的愿景高度一致。