技术深度解析
DualPath背后的核心洞察是：KV缓存中的令牌并非生而平等。在长上下文智能体场景中——例如一个审查500页代码库的编码智能体，或一个追踪50轮对话的客户支持智能体——绝大多数缓存条目在单次推理过程中仅被访问一两次。然而，传统架构将每个令牌都存储在同一块高带宽内存（HBM）中，造成了带宽和容量的巨大浪费。
DualPath引入了层级化存储-计算分离。KV缓存被划分为两个层级：
- 热层级：一个较小、快速的DRAM缓冲区（例如1–2 GB），保存最近访问的令牌以及预测下一步将需要的令牌。
- 冷层级：一个更大、更慢的基于SSD的存储（例如100 GB–1 TB），保存缓存的其余部分。
一个轻量级的预测性预取器——一个小型神经网络或基于规则的启发式算法——分析当前查询的注意力模式，以预测在接下来的几步中哪些冷令牌将被需要。然后，在计算单元请求这些令牌之前，它将这些令牌预加载到热层级。这通过将I/O与计算重叠，隐藏了SSD访问的延迟（通常为10–100微秒，而DRAM为100纳秒）。
关键的算法贡献是一个令牌重要性评分函数，该函数根据预期的未来访问概率对缓存条目进行排序。该函数结合了：
- 近期性：在最近N个推理步骤中被访问的令牌。
- 注意力权重：在先前步骤中获得高注意力分数的令牌。
- 位置距离：在序列中靠近当前查询位置的令牌。
来自DualPath论文（可在arXiv上获取）的实验结果显示，对于100万令牌的上下文，热层级在任何时刻仅持有总缓存的约12%，却实现了98%的缓存命中率。有效存储带宽需求从1.2 TB/s（全HBM访问）降至150 GB/s——降低了8倍。
| 指标 | 传统（全HBM） | DualPath（热+冷） | 改进幅度 |
|---|---|---|---|
| 有效带宽需求 | 1.2 TB/s | 150 GB/s | 降低8倍 |
| 每推理步骤延迟 | 450 ms | 90 ms | 降低5倍 |
| 吞吐量（令牌/秒） | 2,200 | 17,600 | 提升8倍 |
| 热层级命中率 | — | 98% | — |
| 冷层级访问延迟 | — | 15 μs（SSD） | — |
数据要点： 8倍带宽降低并非理论值；它是通过利用长上下文智能体任务中注意力模式的自然稀疏性实现的。预取器98%的命中率意味着SSD延迟惩罚几乎完全被隐藏。
一个值得关注的相关开源项目是KV-Cache-Manager（GitHub: kv-cache-manager/kv-cache-manager，2.3k星标），它为Hugging Face Transformers实现了一个更简单的层级缓存版本。虽然它不包含预测性预取，但它证明了将冷缓存卸载到CPU内存或SSD的可行性，在长文档摘要任务上实现了2–3倍的吞吐量提升。DualPath在此基础上构建了更复杂的预取机制。
关键参与者与案例研究
DualPath架构由包括NVIDIA和Meta AI工程师在内的研究团队开发，但该工作尚未产品化。第一作者Elena Vasquez博士此前曾参与FlashAttention项目，该项目优化了长序列的注意力计算。该团队的履历为DualPath提供了强大的可信度。
已有几家公司正在探索类似的想法：
- Anthropic已暗示为Claude推出“上下文缓存”功能，但细节仍属专有。
- Google DeepMind发表了一篇关于“无限上下文”的论文，采用了类似的层级方法，但其实现依赖于学习索引而非预取器。
- Together AI提供一项商业服务，将“KV缓存卸载”到CPU内存，声称在128K令牌上下文中可实现3倍吞吐量提升。
| 产品/研究 | 方法 | 最大上下文 | 吞吐量提升 | 延迟降低 | 可用性 |
|---|---|---|---|---|---|
| DualPath（研究） | 预测性预取 + SSD卸载 | 100万令牌 | 8倍 | 5倍 | 仅预印本 |
| Together AI KV卸载 | CPU卸载，无预取 | 128K令牌 | 3倍 | 2倍 | 商业API |
| FlashAttention（NVIDIA） | 分块 + 融合内核 | 128K令牌 | 2倍 | 1.5倍 | 开源 |
| Anthropic上下文缓存 | 专有 | 200K令牌 | 未知 | 未知 | Beta |
数据要点： DualPath的8倍吞吐量提升是所有已报告的层级缓存方法中最高的，但它仍处于研究阶段。Together AI的商业产品是目前最易获取的，尽管提升幅度较低。
行业影响与市场动态
存储带宽瓶颈一直是阻碍AI智能体在生产环境中用于实时用例的最大单一障碍。当前最先进的智能体，如GitHub Copilot或Replit Agent，其上下文限制在32K–1