技术深度解析
Celesto 的持久存储层构建在分布式对象存储架构之上,该架构抽象了管理 PB 级数据的复杂性,同时为智能体工作流提供低延迟访问。其核心采用分片键值存储,并支持可配置的复制因子,使得智能体在读取和写入 1 GB 以内的对象时延迟低于 10 毫秒,对于更大的数据块则能实现线性吞吐扩展。该存储层通过虚拟文件系统接口直接集成到 Celesto 的沙盒运行时中,这意味着智能体可以使用标准的文件 I/O 操作(打开、读取、写入、定位)与持久数据交互,而无需修改任何代码。这是一个深思熟虑的设计选择:Celesto 没有强迫开发者采用新的 API,而是让持久内存感觉像本地驱动器一样,从而降低了智能体开发者的认知负担。
真正的创新在于上下文感知的缓存层。Celesto 采用多层缓存架构:将频繁访问的数据存放在 RAM(热层),近期访问的数据存放在 NVMe SSD(温层),冷数据则存放在基于 HDD 的对象存储中。该缓存并非静态不变,它通过一个轻量级预测模型学习智能体的访问模式,并预取后续步骤可能需要的的数据。早期基准测试显示,对于在大型代码库上迭代的编码智能体工作负载,与朴素的 LRU 缓存相比,该机制将平均读取延迟降低了 73%。存储层还支持原子多对象事务,使智能体能够将复杂的状态更新——例如修改多个配置文件、更新数据库 schema 并记录变更——作为一个原子操作执行。如果智能体在操作中途崩溃,整个事务将回滚,从而防止部分状态损坏。
对于有兴趣探索类似方法的开发者,开源项目 InfinityFS(GitHub: infinityfs/infinityfs,4.2k 星)提供了一个用户空间文件系统,可将云对象存储暴露为 POSIX 兼容的文件系统,但它缺乏 Celesto 的预测性缓存和原子事务支持。另一个相关仓库是 MemoriaDB(GitHub: memoriadb/memoriadb,1.8k 星),它实现了一个针对 AI 智能体状态序列化优化的持久键值存储,但设计用于单节点部署,无法扩展到 PB 级别。Celesto 的专有实现似乎结合了两者的优点——分布式可扩展性与 POSIX 兼容性——同时加入了通用存储解决方案所缺乏的智能体特定优化。
| 指标 | Celesto PB 存储 | 标准对象存储(S3 兼容) | 本地 NVMe RAID |
|---|---|---|---|
| 最大容量 | 每沙盒 1 PB | 无限(理论上) | 30 TB(典型值) |
| 读取延迟(1 MB 对象) | 8 毫秒(热缓存) | 50-200 毫秒 | 0.1 毫秒 |
| 写入延迟(1 MB 对象) | 12 毫秒(热缓存) | 100-300 毫秒 | 0.2 毫秒 |
| 原子多对象事务 | 是 | 否 | 取决于文件系统 |
| 预测性预取 | 是 | 否 | 否 |
| 每 GB/月成本 | $0.023 | $0.021(标准层) | $0.10(硬件 + 电力) |
数据要点: Celesto 的存储实现了令人信服的平衡:它提供了云般的可扩展性和成本,同时热数据的延迟接近本地存储,并添加了通用解决方案无法提供的智能体特定功能(预测性缓存、原子事务)。仅预测性缓存带来的 73% 延迟降低,就可能使代码密集型工作流的智能体任务完成速度提升 2-3 倍。
关键玩家与案例研究
Celesto 并非唯一认识到持久内存对 AI 智能体重要性的公司,但它是第一个将其作为沙盒环境一等公民功能的公司。竞争格局可分为三个阵营:沙盒提供商、智能体框架和存储中间件。
沙盒提供商: 最直接的竞争对手是 Modal,它为 AI 工作负载提供临时云环境。Modal 支持持久卷,但每个卷限制为 100 GB,并且需要显式挂载,这给需要自动发现存储的智能体增加了摩擦。Replit 为编码智能体提供类似的沙盒,但其存储是会话范围的,不会在智能体运行时之外持久化。Google Colab 通过 Google Drive 挂载提供持久存储,但 15 GB 的免费限制和高延迟使其不适合 PB 级工作负载。Celesto 的 PB 容量和无缝集成使其在企业级智能体部署中具有明显优势。
智能体框架: 像 LangChain 和 AutoGPT 这样的框架曾尝试通过外部数据库解决内存问题——LangChain 的内存模块可以将对话历史存储在 Pinecone 或 Weaviate 等向量数据库中,而 AutoGPT 则使用本地 JSON 文件。然而,这些都是事后添加的解决方案,引入了延迟和复杂性。Celesto 的方法从根本上不同:它将持久内存直接嵌入到智能体的运行时环境中,消除了对外部数据库查询的需求,并允许智能体以原生速度访问数据。对于构建需要跨会话维护复杂状态的智能体的开发者来说,这意味着他们可以专注于智能体逻辑,而不是构建自定义存储基础设施。