技术深度解析
OpenHands 是一个基于大语言模型(LLM)构建的智能编程助手,旨在代码库中自主运行。其架构由几个关键组件组成:
- Agent 循环:一个持续循环,LLM 在其中观察当前状态(例如代码文件、终端输出),决定一个动作(例如编辑文件、运行命令),执行该动作,并观察结果。这个循环使助手能够迭代地解决复杂任务,如调试或功能实现。
- 沙盒执行环境:OpenHands 使用 Docker 容器安全地执行命令,将助手与主机系统隔离。这对于防止意外损坏或安全漏洞至关重要。
- 代码库索引:该工具使用嵌入(例如来自 OpenAI 的 text-embedding-3-small 或 BGE 等开源替代方案)构建代码库的向量索引。这实现了语义搜索和上下文检索,使助手无需扫描整个仓库即可找到相关代码片段。
- 工具集成:OpenHands 支持用于 linter、测试运行器和版本控制(Git)等工具的插件系统。它可以在代码更改后自动运行测试、提交更改,甚至创建 pull request。
Together Computer 的分支很可能修改了以下几个层面:
1. 模型优化:Together 为 Llama 3、Mixtral 和 CodeLlama 等开源模型提供推理端点。该分支可能经过调整以更高效地使用这些模型,或许通过自定义提示模板或针对代码生成的微调适配器。鉴于 Together 在模型服务方面的专长(他们声称某些模型的推理速度比竞争对手快 2 倍),该分支可能实现更低的延迟和更高的吞吐量。
2. 基础设施集成:该分支可能深度集成到 Together 的云平台中,使用其专有的 GPU 集群(例如 NVIDIA H100)和网络堆栈。这可以实现自动扩展、代码索引的持久存储以及无缝部署到生产环境等功能。
3. 成本优化:Together 的定价模式(例如 Llama 3 70B 每百万 token 0.90 美元)与 OpenAI 的 GPT-4(每百万 token 10 美元)相比具有竞争力。该分支可能通过更好的上下文管理和缓存来优化 token 使用量,从而降低企业客户的成本。
基准测试考量:虽然 Together 分支没有公开的基准测试,但我们可以将 OpenHands 在标准编程任务上的性能与其他 AI 编程助手进行比较。下表显示了基于现有数据的假设性能:
| 助手 | SWE-bench Lite 得分 | HumanEval Pass@1 | 平均延迟(每次请求) | 每百万 token 成本(输入) |
|---|---|---|---|---|
| OpenHands(默认) | 33.2% | 72.5% | 2.3s | 3.00 美元(GPT-4) |
| GitHub Copilot | 28.1% | 65.8% | 1.1s | 0.15 美元(专有) |
| Cursor(GPT-4) | 35.0% | 74.2% | 1.8s | 3.00 美元(GPT-4) |
| Codeium | 25.4% | 62.1% | 0.9s | 0.10 美元(专有) |
| Together 分支(估计) | 34.5% | 73.0% | 1.5s | 0.90 美元(Llama 3 70B) |
数据要点:Together 分支可以在性能和成本之间提供引人注目的平衡,有可能在基准测试上超越 Copilot,同时在价格上低于基于 GPT-4 的解决方案。然而,延迟优势取决于 Together 的基础设施优化,这一点尚未得到验证。
关键参与者与案例研究
Together Computer:由前 Google Brain 和 NVIDIA 工程师于 2022 年创立,Together 已从包括 Kleiner Perkins 和 NEA 在内的投资者那里筹集了超过 2 亿美元。他们为训练和服务开源 LLM 提供云基础设施,客户包括初创公司和大型企业。他们对 OpenHands 的分支是其构建垂直整合 AI 堆栈(从硬件到模型再到应用)战略的自然延伸。
All-Hands-AI:OpenHands 的原始创建者,一个从 MIT 和 Carnegie Mellon 分拆出来的研究实验室。他们以 MIT 许可证开源发布了 OpenHands,旨在使 AI 编程工具大众化。该项目在 GitHub 上拥有超过 15,000 颗星和一个活跃的社区。Together 的私有分支可能被视为对这种开放精神的背离。
竞争产品:
| 产品 | 公司 | 模型 | 开源 | 定价模式 | 关键差异化优势 |
|---|---|---|---|---|---|
| GitHub Copilot | Microsoft | Codex(GPT-3.5 衍生) | 否 | 每用户每月 10 美元 | 深度 IDE 集成 |
| Cursor | Anysphere | GPT-4, Claude 3.5 | 否 | 每用户每月 20 美元 | 智能功能,多文件编辑 |
| Codeium | Codeium Inc. | 专有 | 否 | 免费层,专业版每月 15 美元 | 速度,上下文感知建议 |
| OpenHands | All-Hands-AI | 任意 LLM(GPT-4, Llama 3) | 是(MIT) | 免费(自托管) | 完全自主,沙盒执行 |
| Together 分支 | Together Computer | Llama 3, Mixtral | 否(私有) | 可能按使用量计费 | 针对 Together 基础设施优化 |
数据要点