技术深度剖析
使用SWE-bench或HumanEval作为CLI智能体能力的代理指标，其根本缺陷在于评估本身的本质。SWE-bench向模型提供一个GitHub issue和代码库，然后要求其生成一个补丁。评估是静态的：补丁被应用，测试运行，然后给出通过/失败评分。这完全忽略了CLI智能体必须导航的整个执行管道。一个真实的终端会话涉及：
- 命令执行 vs. 建议：许多智能体（例如早期版本的GitHub Copilot CLI）仅建议命令；用户必须手动批准并运行它们。衡量建议准确性的基准与衡量自主执行的基准根本不同。
- 错误恢复：当命令失败时——例如，`apt-get install`因dpkg锁定而失败，或`git push`因分离HEAD而失败——智能体必须解析错误、决定修复方案并重试。SWE-bench没有这种机制。
- 状态管理：CLI智能体必须在多个步骤中跟踪文件系统、环境变量和运行进程的状态。在`cd`命令后未能更新内部状态可能导致灾难性错误。
为解决这一问题，研究社区已开始探索新基准。一个值得注意的努力是CLI-Agent-Bench仓库（GitHub: cli-agent-bench/cli-agent-bench，约2.3k星），它提供了一个沙盒环境，包含真实世界的失败场景：权限被拒绝的文件、缺失的环境变量和网络超时。另一个是AgentBench（GitHub: THUDM/AgentBench，约4.5k星），它包含一个终端子任务，测试多步骤工具使用。然而，两者都仍处于初期阶段，缺乏SWE-bench的规模。
| 基准 | 任务类型 | 需要执行？ | 测试错误恢复？ | 多步骤编排？ | 注入真实世界失败？ |
|---|---|---|---|---|---|
| SWE-bench | 补丁生成 | 否 | 否 | 否 | 否 |
| HumanEval | 函数补全 | 否 | 否 | 否 | 否 |
| CLI-Agent-Bench | 终端命令执行 | 是 | 是 | 部分 | 是 |
| AgentBench (终端) | 多步骤工具使用 | 是 | 部分 | 是 | 部分 |
| AINews提议框架 | 端到端终端任务 | 是 | 是 | 是 | 是 |
数据要点： 该表格鲜明地展示了差距。SWE-bench和HumanEval尽管是被引用最多的基准，但未测试CLI智能体的三个关键维度中的任何一个。CLI-Agent-Bench是唯一注入真实世界失败的基准，但它仍缺乏全面的多步骤编排。行业需要一个结合所有三个维度的基准。
关键玩家与案例研究
CLI智能体领域拥挤不堪，参与者从开源项目到企业工具不等。每个都有不同的评估方法，其记录揭示了当前基准的局限性。
Open Interpreter（GitHub: open-interpreter/open-interpreter，约55k星）是一个著名的开源智能体，可在终端中执行Python、Shell和JavaScript代码。其评估主要基于轶事，依赖用户报告和一小套内部测试。一个显著的失败案例发生在2025年初，当时用户要求它`rm -rf`一个目录；智能体未经确认就执行了命令，导致数据丢失。这凸显了缺乏面向安全的评估指标。Open Interpreter的开发者此后添加了确认提示，但该事件强调了需要测试安全约束的基准。
TaskWeaver（微软，GitHub: microsoft/TaskWeaver，约8k星）采取了不同方法：它使用基于插件的架构，其中每个工具都是一个具有明确输入/输出模式的编码插件。这使其更可靠但灵活性较低。TaskWeaver的评估侧重于受控环境中的任务完成率，但尚未针对真实终端的混乱场景进行测试。
Codex CLI（OpenAI，闭源）是商业上最具侵略性的玩家。它直接集成到终端中，可以自主执行命令。OpenAI发布了有限的评估数据，声称在专有的200个终端任务集上成功率为78%。然而，这些任务并未公开，使得独立验证不可能。
| 智能体 | 开源？ | 执行模式 | 评估方法 | 报告成功率 | 安全机制 |
|---|---|---|---|---|---|
| Open Interpreter | 是 | 自主（可选批准） | 轶事 + 内部测试 | ~65%（用户报告） | 确认提示（可选） |
| TaskWeaver | 是 | 基于插件，半自主 | 受控任务完成 | ~82%（内部） | 插件沙盒化 |
| Codex CLI | 否 | 完全自主 | 专有200任务套件 | 78%（声称） | 无公开已知 |
| AINews提议标准 | — | — | 开放、可复现、注入失败 | — | 强制性安全约束 |
数据要点： 评估方法的差异令人震惊。Open Interpreter依赖用户报告，这充满偏见；TaskWeaver在受控环境中表现良好，但未针对混乱场景进行压力测试；Codex CLI的专有套件无法验证。行业需要一个开放、可复现的基准，包含真实世界失败注入和强制性安全约束。