技术深度解析
Meta方案的核心，直指当代AI的“程序性知识鸿沟”。Llama 3或GPT-4等LLM训练于人类工作的*成果*（文档、代码、艺术作品），而非其*过程*。一个能“撰写季度报告”的智能体，需要理解完整操作序列：打开CRM、导出销售数据、按日期筛选、粘贴至电子表格模板、生成透视表、截图、插入Google Slides、应用公司品牌规范、邮件发送至分发列表。这类程序性知识大多是隐性且具身的。
拟议系统可能包含多个技术层级：
1. 高分辨率遥测采集：安装在员工计算机上的软件代理将记录底层系统事件。这超越了简单的屏幕录制，涉及捕获鼠标移动的精确(x,y)坐标（揭示犹豫、搜索模式）、击键间毫秒级时序（反映熟练度或不确定性），以及用于应用切换和菜单导航的系统级钩子。
2. 行为标记化与序列化：原始遥测数据对模型无用，必须被标记化为离散的序列格式。一种前景广阔的开源方法以受OpenAI“Voyager”启发的项目和微软研究院“GitHub Copilot Action Sequence”数据集为代表，将UI操作框架化为一种语言。一个操作可能被标记为`[CLICK][ID:submit_button][APP:jira]`或`[KEYSEQ][Ctrl+C][APP:excel]`。Meta的创新在于，将以前所未有的规模和粒度，将此方法应用于异构的企业软件环境。
3. 因果世界模型训练：序列化的标记流用于训练模型，使其能根据数字状态（当前应用、打开窗口、选中文本）预测下一个可能操作。这类似于用代码训练Transformer，但此处的“代码”是人机交互语言。目标是让AI内化因果逻辑（点击“另存为”导致文件对话框出现）。
4. 与基础模型集成：行为模型不会孤立运行。它将通过Toolformer或Gorilla等架构与大型语言模型（如Llama 3）集成：LLM负责高层规划与自然语言理解，行为模型则在正确的软件环境中精确执行子任务。
一个关键的技术挑战是抽象与泛化。基于某员工使用Salesforce特定方式训练的智能体，可能在另一员工的配置上失效。模型必须学习底层的*意图*及实现该意图的*软件无关方法*。ActAnywhere（专注于跨应用智能体控制的研究仓库）等项目正在探索此方向，但稳健的泛化能力仍未解决。
| 数据类型 | 捕获内容 | 对AI智能体的训练价值 | 隐私侵入强度 |
|---|---|---|---|
| 鼠标轨迹 | 犹豫、搜索模式、操作精度 | 教授UI导航效率与界面的空间记忆 | 高——揭示潜意识行为 |
| 击键动力学 | 键间时序、快捷键使用、打字速度 | 建模操作速度、专业水平与命令序列 | 极高——生物识别标识符，捕获精确输入 |
| 应用切换日志 | 工作流上下文、多任务处理模式 | 教授任务组合与工具间上下文管理 | 中——揭示工作习惯与专注点 |
| 窗口/元素焦点 | 屏幕注意力指向 | 为任务中人类的“注视点”提供 grounding | 中高——详细的注意力图谱 |
数据启示：遥测数据的训练价值与其隐私侵入性直接相关。对建模细腻人类行为最有用的数据（击键动力学、鼠标路径），同时也是最具个人身份识别性、最能揭示认知状态的数据。
关键参与者与案例研究
Meta并非在真空中运作。构建实用AI智能体的竞赛催生了对于行为数据的贪婪需求，促使多家参与者探索类似（尽管争议较小）的路径。
* 微软与GitHub：凭借GitHub Copilot，微软已能访问海量开发者*操作*数据集——不仅是编写的代码，还包括编辑、删除、测试运行和终端命令。下一步合乎逻辑的产物是Copilot for Actions，一个基于更广泛操作流训练的智能体。微软的优势在于，这些数据收集自明确选择使用生产力增强工具的用户。
* 谷歌（DeepMind）与“SIMA”：DeepMind的可扩展指令多世界智能体（SIMA）项目是视频游戏领域的直接对标。SIMA通过观察人类玩电子游戏（如《模拟山羊3》或《无人深空》）来学习3D环境中的可泛化技能。Meta的计划本质上是在企业软件领域应用SIMA的核心理念。