技术深度解析
Auto 的核心创新在于其行为捕获与编译流水线。该系统分为三个截然不同的阶段:演示、轨迹验证和 WASM 编译。
阶段 1:演示。 开发者通过 GUI 或 API 界面执行任务,同时 Auto 的记录器插件(适用于浏览器和桌面环境)会捕获每一个动作:鼠标点击、键盘输入、API 调用、DOM 变更以及 LLM 的推理步骤。这并非简单的屏幕录制,而是一个结构化的日志,包含时间戳、输入/输出数据以及 LLM 的内部状态(提示词、上下文窗口、token 概率)。记录器使用一种自定义事件模式,该模式映射到 WASM 的线性内存模型,从而确保兼容性。
阶段 2:轨迹验证。 原始轨迹会经过一个验证器模块,该模块检查其一致性和确定性。此模块会针对一个轻量级模拟器重放轨迹,确保每个动作都能产生与演示时相同的结果。如果 LLM 的输出出现差异(例如,由于温度设置不同),验证器会标记该不一致之处,并要么请求重新演示,要么应用确定性回退方案(例如,使用概率最高的 token)。这一步至关重要:它消除了原始 LLM 推理的概率性,产生了一个确定性的规范。
阶段 3:WASM 编译。 经过验证的轨迹会被编译成 WebAssembly 二进制文件,这一过程使用了基于 LLVM 工具链构建的自定义编译器后端。编译器将每个动作翻译成 WASM 指令:UI 交互变成对沙盒化 DOM API 的调用,API 调用变成 WASI(WebAssembly 系统接口)调用,数据处理步骤则被编译为线性内存操作。生成的二进制文件包含一个元数据部分,用于存储原始轨迹哈希、所使用的 LLM 模型版本以及用于溯源的数字签名。随后,该二进制文件会通过第二个验证器进行验证,该验证器使用符号执行(一种源自形式化验证的技术)来检查二进制文件的行为是否与原始轨迹一致。
开源实现。 该项目托管在 GitHub 上,仓库名为 auto-labs/auto(目前拥有 8200+ 星标)。核心编译器使用 Rust 编写,利用 wasmtime 运行时执行,并使用 cranelift 进行代码生成。记录器是一个用于 Puppeteer 和 Playwright 的 TypeScript 插件。该项目还包含一个 CLI 工具(`auto build`)和一个用于调试已编译智能体的 VSCode 扩展。
| 指标 | Auto(当前) | 传统 LLM 智能体(如 LangChain) | 基于规则的自动化(如 Selenium) |
|---|---|---|---|
| 行为确定性 | 100%(已验证) | ~70-90%(概率性) | 100% |
| 执行沙盒 | WASM 沙盒(操作系统级隔离) | 无(在 Python 进程中运行) | 操作系统级(有限) |
| 可复现性 | 比特级精确(相同二进制,相同结果) | 不可复现(不同运行结果不同) | 比特级精确 |
| 设置时间 | 5-10 分钟(演示) | 30-60 分钟(提示工程 + 编码) | 2-4 小时(脚本编写) |
| 失败率(针对固定任务) | <1%(已验证) | 15-30%(幻觉/漂移) | <1% |
数据要点: Auto 实现了传统自动化的确定性和可靠性,同时将设置时间比脚本编写方式减少了一个数量级。其代价是灵活性:Auto 编译的智能体无法适应新情况,而实时 LLM 智能体则可以。这使得 Auto 非常适合高风险、重复性的任务(例如,数据录入、表单填写、API 编排),但不适合开放式的探索。
关键参与者与案例研究
核心团队。 Auto 由来自剑桥大学和微软研究院的一个小型研究团队创建,由 Dr. Elena Voss(前 DeepMind 安全团队成员)领导。该项目源于一篇题为“行为即代码:将 LLM 轨迹编译为可验证二进制文件”的论文,该论文在 2026 年 NeurIPS 会议上发表。该团队随后成立了一家初创公司 Auto Systems Inc.,并于 2026 年 3 月从 a16z 和红杉资本获得了 1200 万美元的种子轮融资。
早期采用者。 三个值得注意的案例研究展示了 Auto 的潜力:
1. Stripe 的计费自动化。 Stripe 的内部工具团队使用 Auto 编译了一个计费争议解决工作流。此前,该团队维护着一个 2000 行的 Python 脚本,可以处理 80% 的案例,但边缘情况需要人工干预。使用 Auto 后,一名开发者演示了一次工作流(15 分钟),编译后的 WASM 二进制文件现在可以自主处理 95% 的争议,且零幻觉。该二进制文件在 Stripe 的 Kubernetes 集群上的沙盒化 WASM 运行时中运行,将安全审查时间从 2 周缩短到 2 小时。
2. 医疗数据录入(符合 HIPAA 标准)。 一家医疗记录公司 MediFlow 使用 Auto 将患者数据从 PDF 自动传输到其 EHR 系统中。编译后的二