技术深度解析
Harness与Scaffold概念并非全新发明，而是对软件工程中已存在数十年的模式进行形式化改造——以适应LLM驱动智能体的独特挑战。
Harness架构： 其核心是位于智能体推理引擎（通常是LLM）与外部世界之间的中间件层。它由三个子组件构成：
- 工具注册表： 一个基于模式的可用函数目录，每个函数都带有类型化参数、返回类型和速率限制。注册表强制智能体只能调用已被明确授权的工具，从而防止智能体可能幻觉出工具调用的提示注入攻击。
- 执行沙箱： 实际的调用层。它处理身份验证、重试逻辑、超时管理和结果标准化。关键在于，它会捕获执行元数据——延迟、成功/失败代码、Token成本——用于可观测性。
- 可观测性管道： 每次工具调用都会被记录，包括智能体的推理轨迹、发送的确切输入、收到的输出以及任何错误。这使得开发者能够重放失败并调试智能体行为。
一个具体例子是开源仓库 LangChain的'tool_call' Harness（GitHub: langchain-ai/langchain，10万+星标）。LangChain的BaseTool类强制执行严格的输入模式，其AgentExecutor通过错误处理和日志记录包装工具调用。然而，LangChain的Harness相对松散——它允许智能体以任意顺序调用工具，这可能导致级联故障。一个更严格的Harness体现在 Anthropic的'Tool Use' API中，该API强制模型为工具调用输出结构化JSON，Harness在执行前验证该JSON。在生产基准测试中，这使幻觉工具调用减少了约30%。
Scaffold架构： Scaffold是推理骨架。它定义了智能体如何分解目标、使用何种记忆结构以及如何从死胡同中恢复。最常见的Scaffold模式是 ReAct循环（推理+行动），由论文《ReAct: Synergizing Reasoning and Acting in Language Models》（Yao等人，2023）推广。Scaffold规定了一个循环：思考→行动→观察→思考。Scaffold还管理记忆——通常是短期记忆（会话内的对话历史）和长期记忆（过去交互的向量数据库）的组合。
一个更先进的Scaffold是 Plan-and-Solve模式，其中智能体首先生成一个高层计划（例如，“步骤1：搜索用户邮箱。步骤2：起草回复。步骤3：发送邮件”），然后执行每个步骤，Scaffold跟踪进度并允许在步骤失败时回滚。开源项目 AutoGPT（GitHub: Significant-Gravitas/AutoGPT，17万+星标）使用了一个维护任务列表和上下文窗口的Scaffold，但其记忆管理以脆弱著称——长时间运行的任务常常丢失上下文。一个更健壮的Scaffold是 CrewAI（GitHub: joaomdmoura/crewAI，3万+星标），它实现了一个分层Scaffold，其中“管理者”智能体分解任务并将其分配给“工作者”智能体，Scaffold处理智能体间通信和结果聚合。
基准数据： 为了量化Harness和Scaffold设计的影响，我们分析了来自GAIA（通用AI助手）数据集的公开基准测试，该数据集测试智能体在多步骤、工具使用任务上的表现。
| 智能体系统 | Harness类型 | Scaffold类型 | GAIA成功率（1-3级平均） | 每任务平均工具调用次数 | 失败率（工具调用错误） |
|---|---|---|---|---|---|
| GPT-4 + LangChain（默认） | 松散 | ReAct（基础） | 42.3% | 8.2 | 18.5% |
| GPT-4 + Anthropic Tool Use | 严格JSON验证 | ReAct（带错误恢复） | 58.1% | 6.1 | 11.2% |
| GPT-4 + CrewAI（分层） | 严格（按智能体） | Plan-and-Solve | 67.8% | 5.4 | 7.3% |
| 自定义智能体（OpenAI Assistants API） | 中等（API级别） | ReAct（带记忆修剪） | 51.5% | 7.0 | 14.0% |
数据要点： 严格的Harness（验证JSON、错误恢复）与分层Scaffold（Plan-and-Solve）的组合，相较于松散Harness加基础ReAct，成功率提升了25个百分点。工具调用错误的失败率下降了超过60%。这表明架构与底层模型同等重要。
关键参与者与案例研究
多家公司和开源项目正在引领Harness与Scaffold概念的标准化进程。
OpenAI 通过其 Assistants API（2023年11月发布）隐式定义了一个Harness。该API为代码解释器、文件搜索和函数调用提供了内置Harness。然而，Scaffold在很大程度上是不透明的——开发者无法自定义推理循环。这是一种权衡：易用性 vs. 灵活性。OpenAI的方法因在长时间会话中产生“遗忘”上下文的智能体而受到批评，这是一个