技术深度解析
Transformer架构的自注意力机制虽然强大，但其计算复杂度随序列长度呈二次方增长。KV缓存是一项巧妙的优化，它使得自回归推理变得可行：在生成每个新token时，所有先前token的键（Key）和值（Value）矩阵都从缓存中读取，避免了从头重新计算的需要。这将每个解码步骤的复杂度降至线性，但代价是必须将这些矩阵存储在高速带宽内存（HBM）中。
其内存占用公式直观明了：`2 * batch_size * num_layers * num_heads * head_dim * sequence_length`。以Llama 3 70B这样的大型模型（80层，64个头，头维度128）为例，在批次大小为1、序列长度128K的情况下，FP16精度的缓存需求约为 `2 * 1 * 80 * 64 * 128 * 131,072 ≈ 172 GB`。即使采用了像Mistral的Mixtral和Llama 3中使用的分组查询注意力（GQA）这类优化技术（通过在多个注意力头之间共享键和值来减少参数），内存需求仍然是线性且巨大的。
研究界正从多个角度攻克这一难题：
1. 选择性缓存与淘汰策略：受CPU缓存层次结构启发，这类方法决定*保留什么*。来自MIT和Meta的StreamingLLM发现，LLM为了保持稳定性，极度依赖初始token（“注意力沉没点”）和近期token。它提出保留这些token外加一个近期token的滑动窗口，从而在超长文本上以极小的性能损失大幅缩减缓存大小。来自UC Berkeley的H2O（Heavy-Hitter Oracle）技术则根据注意力分数动态淘汰被认为不重要的token，优先保留那些“高影响力”的token。
2. 量化与压缩：以更低精度存储缓存状态。KVQuant（来自Together AI和MIT）是一个著名的GitHub仓库（`amazon-science/kvquant`），它专门对KV缓存应用混合精度量化。它采用一种新颖的方法来识别和保护对模型性能至关重要的异常通道，从而允许缓存主体以4比特甚至2比特精度存储。早期结果显示，在长文档任务上，内存占用减少2.6倍，而精度损失可忽略不计。
3. 架构创新：改变模型以减少缓存需求。多查询注意力（MQA）和分组查询注意力（GQA）现已成为标准配置，减少了内存公式中的`num_heads`因子。更激进的方案，如循环记忆Transformer或基于状态空间模型（SSM）的模型（如Mamba），旨在用具有恒定大小隐藏状态的机制来替代或增强注意力机制，从而从根本上绕过KV缓存问题。
4. 共享与预计算缓存：对于上下文静态或可重复使用的应用（例如固定的文档数据库），KV缓存可以预先计算一次，并在多个用户查询间共享，从而分摊内存成本。这是在检索增强生成（RAG）系统中，对缓存的文档表示进行语义搜索的核心技术。
| 优化技术 | 核心原理 | 大致内存减少 | 主要权衡取舍 |
|---|---|---|---|
| 完整KV缓存（基线） | 存储所有键/值 | 0% | 内存随上下文呈指数级增长。 |
| StreamingLLM | 保留注意力沉没点 + 滑动窗口 | 70-90%（在100万token上） | 可能损失对中段上下文的回忆能力。 |
| KVQuant（4比特） | 将缓存量化为低精度 | 60-75% | 引入量化噪声；需要校准。 |
| GQA（8组） | 在注意力头间共享键/值 | ~87.5%（相较于MHA） | 与多头注意力相比，可能存在轻微质量损失。 |
| H2O淘汰策略 | 动态淘汰低注意力token | 50-80% | 需要在线评分开销；非确定性。 |
数据启示：没有单一技术是万能解药。最有前景的路径在于混合方法，将GQA等架构变革与量化、智能淘汰策略等训练后优化相结合，以实现乘数级的内存节省。
关键参与者与案例研究
解决KV缓存瓶颈的竞赛正在学术界、开源社区和主要AI实验室间展开，各方策略迥异。
云超大规模厂商（基础设施的必然要求）：对于Google Cloud、AWS和Microsoft Azure而言，低效的推理直接侵蚀利润率并限制其可提供的服务。Google对Infini-attention的研究提供了一个引人注目的案例：它引入了一个压缩记忆模块，用于总结远端上下文，使模型能够以固定大小的内存占用维持“无限”的上下文窗口。这不仅是一篇研究论文，更是对其产品挑战——提供经济高效、长上下文的Gemini API端点——的直接解决方案。同样，AWS也通过AWS Neuron等工具在推理优化上进行了深度投入。