技术深度解析
提示缓存利用了Transformer架构的自回归特性。在典型的LLM推理过程中，每个Token的表示被计算为键（K）和值（V）向量，并存储在KV缓存中，以避免对后续Token进行重复计算。核心洞察在于：当多个提示共享一个公共前缀（如系统消息或长文档）时，该前缀的KV缓存在不同请求之间是相同的。通过缓存这些KV张量，服务提供商可以在每个请求中以O(1)的时间复杂度处理共享部分，仅需计算独特的后缀部分。
工程挑战在于高效的缓存管理。现代实现使用基于哈希的前缀Token查找，通常结合最近最少使用（LRU）驱逐策略来限制内存使用。缓存键通常是分词后的前缀，但也存在变体：有些系统对原始文本进行哈希，有些则使用语义哈希来处理细微变化。内存开销不容小觑——对于一个70B参数的模型，一个4K Token的前缀在FP16精度下可能消耗约2 GB的GPU内存。提供商必须在缓存命中率与内存成本之间取得平衡，通常采用分层缓存（GPU内存中的热缓存、CPU RAM中的温缓存、SSD中的冷缓存）。
开源实现正在涌现。GitHub仓库`vllm-project/vllm`（超过40,000颗星）包含一个实验性的前缀缓存功能，使用基数树结构高效存储和检索共享前缀的KV缓存。另一个项目`lm-sys/FastChat`（超过40,000颗星）已为多轮对话集成了前缀缓存。NVIDIA的`triton-inference-server`也通过其'prompt cache'插件支持前缀缓存。这些工具表明，缓存正成为一种标准优化，而非小众技巧。
性能数据：
| 场景 | 无缓存（Token/请求） | 有缓存（Token/请求） | 延迟降低 | 成本降低 |
|---|---|---|---|---|
| 聊天机器人（系统提示 + 10轮历史） | 2,500 | 800 | 55% | 68% |
| 代码助手（共享导入 + 函数签名） | 3,000 | 1,200 | 50% | 60% |
| 文档问答（5页上下文 + 查询） | 8,000 | 3,500 | 45% | 56% |
| 实时翻译（共享词汇表 + 句子） | 1,500 | 600 | 60% | 60% |
数据要点： 表格显示，在具有较大共享前缀和较短独特后缀的场景中（典型如聊天机器人和翻译），缓存带来的相对收益最高。延迟降低对交互式应用尤其宝贵，因为用户的耐心是以毫秒计量的。
关键玩家与案例研究
主要API提供商已部署提示缓存，尽管透明度各不相同。Anthropic是先行者，于2024年初为Claude 3.5 Sonnet和Haiku推出了作为付费功能的'prompt caching'。其实现缓存系统提示和用户输入的前4,000个Token，对缓存Token提供50%的折扣。OpenAI紧随其后，为GPT-4o和GPT-4 Turbo推出了自己的版本，自动缓存频繁出现的提示，缓存命中时输入Token成本降低50%。Google的Gemini API也支持缓存，尤其适用于长上下文窗口（高达200万个Token），在此场景下节省效果最为显著。
在开源方面，`vllm`项目的前缀缓存已被多家推理提供商采用，包括Together AI和Fireworks AI。这些提供商免费提供每请求缓存，利用节省的成本在价格上低于专有API。例如，Together AI的Llama 3 70B端点无缓存时每百万Token成本为0.90美元，但在高缓存命中率下，有效成本可降至每百万Token 0.30美元以下。
竞争对比：
| 提供商 | 模型 | 缓存类型 | 缓存Token折扣 | 缓存大小限制 | 延迟收益 |
|---|---|---|---|---|---|
| Anthropic | Claude 3.5 Sonnet | 显式（付费功能） | 50% | 4K Token | 约降低40% |
| OpenAI | GPT-4o | 自动（包含） | 50% | 8K Token | 约降低35% |
| Google | Gemini 1.5 Pro | 自动（包含） | 50% | 200万Token | 约降低50% |
| Together AI | Llama 3 70B | 自动（开源） | 0%（免费） | 无限制（LRU） | 约降低45% |
数据要点： 表格揭示了专有提供商将缓存作为高级功能收费，与开源提供商将其作为免费优化提供之间的分歧。这种差异可能会推动价格竞争，迫使专有API要么降低价格，要么提供更多价值（例如更长的缓存窗口）。
行业影响与市场动态
提示缓存正在重塑AI部署的经济格局。生产级LLM应用的总拥有成本（TCO）主要由推理计算主导，而推理计算随Token量线性增长。缓存有效将成本与共享前缀的请求量脱钩，使单位成本根据请求模式高度可变。这催生了一个新指标：'缓存命中率'（C