技术深度解析
核心洞察在于，训练一个能干的AI代理所需的数据，与训练大型语言模型（LLM）有着根本不同。LLM在静态文本——书籍、文章、代码——上训练，以预测下一个token。而代理必须学习一个动态的、交互的过程：它必须观察环境，决定一个行动，执行它（通常通过API或工具），观察结果，并调整其计划。这需要一个*轨迹*数据集：（观察、行动、奖励）步骤的序列。
代理数据的三大支柱
1. 任务轨迹： 这些是代理尝试解决任务的完整日志，从初始指令到最终结果。每个轨迹包括代理的内部推理（思维链）、它进行的工具调用、传递的参数、收到的响应以及最终的成功或失败。一个复杂任务的单一轨迹，比如“预订7月15日从旧金山到东京的直飞航班，预算低于800美元”，可能包含20-50个步骤，每个步骤有多个工具调用（搜索航班、按日期筛选、检查价格、预订、确认）。
2. 工具交互日志： 这些是工具（API、数据库、代码解释器、网页浏览器）如何响应特定输入的结构化记录。与静态文本不同，工具交互有一个模式：输入参数、输出格式、错误代码、延迟。构建包含数百万次成功（和失败）工具调用的数据集，能让代理学习数字世界的“物理规律”——当你用格式错误的邮政编码调用天气API时会发生什么，或者在网页抓取上下文中404错误意味着什么。
3. 决策反馈： 这是最关键也最难收集的部分。它不仅仅关乎代理是否成功，更关乎*为什么*。代理的推理是否合理？它是否探索了不必要的分支？它是否从工具错误中优雅地恢复？这种反馈可以来自人工标注者（基于人类反馈的强化学习，RLHF）、来自合成奖励模型（基于AI反馈的强化学习，RLAIF），或来自基于结果的奖励（例如，任务成功，因此轨迹是正面的）。
工程化数据：合成环境与编排
大规模收集这些数据是一项工程挑战。公司正在构建合成环境——真实世界工具和任务的模拟版本。例如，一家构建客户支持代理的公司可能会创建一个模拟工单系统，包含数千个合成客户档案、产品目录和问题类型。代理与此模拟交互，每个动作都被记录。这比试图从实时生产系统中收集数据要高效得多，在生产系统中，失败代价高昂且数据稀疏。
该领域一个值得注意的开源项目是AgentBench（GitHub仓库：THUDM/AgentBench，约3k星），这是一个在8个不同环境（网络购物、数据库操作、家务任务）中评估代理的基准。虽然它是一个基准，但其环境代码为构建合成数据生成器提供了蓝图。另一个是Camel（GitHub仓库：camel-ai/camel，约5k星），它使用AI代理之间的角色扮演来生成面向任务的对话和工具使用轨迹。这是一种直接的合成数据生成方法：一个代理扮演发出指令的“用户”，另一个扮演必须使用工具来满足指令的“助手”。由此产生的日志对训练来说是金子。
性能数据：规模收益递减
为了说明这种以数据为中心的方法为何重要，考虑以下表格，该表格比较了LLM在代理任务上的性能与其参数数量。数据综合自最近的基准（例如，AgentBench，WebArena）。
| 模型 | 参数（估计） | AgentBench得分 | WebArena成功率 | 每百万Token成本（输入） |
|---|---|---|---|---|
| GPT-4 | ~1.7T (MoE) | 72.3 | 35.4% | $10.00 |
| GPT-4o | ~200B (估计) | 78.1 | 42.1% | $5.00 |
| Claude 3.5 Sonnet | — | 76.8 | 39.8% | $3.00 |
| Llama 3 70B | 70B | 65.2 | 28.9% | $0.90 (自托管) |
| Llama 3 8B | 8B | 48.9 | 15.2% | $0.10 (自托管) |
数据要点： 参数数量与代理性能之间的相关性很弱。估计拥有200B参数的GPT-4o，在代理任务上优于大得多的GPT-4。这表明训练数据质量和对齐（包括代理特定数据）比原始规模更重要。较小的Llama 3 8B，成功率仅为15%，表明小型模型目前无法用于复杂的代理任务——但这一差距可以通过更好的代理训练数据来缩小，而不仅仅是更大的模型。
关键玩家与案例研究
几家公司已经在执行这种以数据为中心的愿景，每家都有不同的策略。
Adept：以行动为导向的方法
Adept由前Google研究员Ashish Vaswani（Transformer的联合发明人）创立，正在构建一个名为ACT-1的“AI队友”。他们的核心论点是，模型应