技术深度解析
LLM推理中的内存瓶颈主要体现在两个维度：带宽与容量。带宽决定了数据在内存和计算单元之间传输的速度，而容量则决定了有多少模型能同时驻留在快速的GPU内存中。核心问题在于，计算能力的增长速度（遵循摩尔定律及其加速版“黄氏定律”）已远远超过内存带宽的增长速度，导致两者间的鸿沟日益扩大。
问题的核心在于KV（键值）缓存。在自回归生成过程中，LLM逐个生成词元。为避免每一步都为所有先前词元重新计算注意力分数，它会将整个序列的中间键向量和值向量存储在GPU内存中。对于像上下文窗口为8k词元的Llama 3 70B这样的模型，KV缓存*每个并发请求*就可能消耗超过5 GB的内存。这还不包括模型权重本身所需的约140 GB内存（FP16精度）。内存需求随批次大小和上下文长度线性增长，使得长上下文、高吞吐量的服务成为一项巨大的内存挑战。
软件层面的应对是一系列专注于内存压缩和流量减少的技术：
1. 量化： 降低模型权重和激活值的数值精度。从FP16（16位）降至INT8（8位）可将内存占用减半；降至INT4则减至四分之一。诸如GPTQ（来自`IST-DASLab/gptq` GitHub仓库）等方法能以最小精度损失执行训练后量化。`huggingface/optimum`库及llama.cpp等框架已普及了用于推理的4位和5位量化。近期展示于`mit-han-lab/llm-awq`仓库的AWQ（激活感知权重量化）技术，提供了一种硬件效率更高的方法，能更好地保持激活值的精度。
2. 连续批处理： 当请求在不同时间完成时，传统的静态批处理会浪费计算资源。vLLM（来自`vllm-project/vllm`仓库）和Hugging Face的文本生成推理（TGI） 等系统实现了连续（或迭代）批处理，能动态地将新请求调度到已完成请求释放的槽位中。这极大地提高了GPU利用率和吞吐量，但其效率与复杂的内存管理紧密相关，尤其是对于KV缓存。vLLM的分页注意力算法是此领域的里程碑式创新，它将KV缓存视为具有分页的虚拟内存，允许非连续存储并消除碎片。
3. 推测解码： 该技术使用一个快速的小型“草案”模型提前预测多个词元，然后由精确的大型“验证”模型在单个并行前向传播中检查这些预测，并接受一个子集。虽然它降低了延迟，但其主要好处在于减少了大型模型所需执行的、昂贵的内存受限解码步骤的数量。Medusa（来自`FasterDecoding/Medusa` GitHub仓库）等项目已通过简单的、无需注意力的草案头实现了此技术。
| 优化技术 | 主要内存收益 | 典型吞吐量提升 | 关键实现/仓库 |
|---|---|---|---|
| FP16 → INT8 量化 | 权重内存减少2倍 | 1.5-2倍 | TensorRT-LLM, Hugging Face Optimum |
| FP16 → INT4 量化 (GPTQ/AWQ) | 权重内存减少4倍 | 2-3倍 | `IST-DASLab/gptq`, `mit-han-lab/llm-awq` |
| 连续批处理 + 分页注意力 | 最优KV缓存利用率，高GPU占用率 | 5-10倍+（对比原始方法） | `vllm-project/vllm` |
| 推测解码 (Medusa) | 减少大型模型解码步骤 | 2-3倍（延迟降低） | `FasterDecoding/Medusa` |
数据启示： 上表揭示了影响层级。量化提供了基础性的内存节省，而像结合分页注意力的连续批处理这样的系统级创新，通过解决KV缓存的动态内存分配问题（这是实际服务中的真正瓶颈），带来了数量级的吞吐量提升。
关键参与者与案例研究
内存墙已划分出清晰的战略战场，区分出赢家与落后者。
硬件架构师：
* 英伟达最具先见之明，在其数据中心GPU上稳步提升HBM带宽和容量。H200和Blackwell B200 GPU的定义不仅在于巨大的FLOPs飞跃，更在于其分别高达4.8 TB/秒和8 TB/秒的HBM3e内存带宽。其TensorRT-LLM软件套件明确设计为通过内核融合和高级量化来最大化内存效率，将用户锁定在一个高性能的全栈解决方案中。
* AMD在内存阵线上直接竞争。MI300X加速器搭载192GB HBM3内存——这是针对大模型推理的明确容量策略——并强调其开放的ROCm软件栈，以此区别于英伟达的封闭生态。
* Groq和SambaNova等初创公司则采取了截然不同的路径。Groq的LPU（语言处理单元）完全避开了传统GPU架构，采用巨大的片上SRAM（230 MB）作为“软件管理缓存”，旨在通过消除片外内存访问来彻底解决带宽瓶颈。SambaNova则专注于从芯片到系统的协同设计，其可重构数据流架构旨在最小化数据移动，并高效处理稀疏性和动态工作负载。
软件先锋：
* vLLM已成为高效推理服务的实际标准，其分页注意力算法被广泛采用。其成功凸显了算法创新在缓解硬件限制方面的力量。
* Hugging Face通过其Optimum库和TGI服务，在民主化这些先进优化技术方面发挥了关键作用，使其更易于被广大开发者采用。
* llama.cpp项目展示了在消费级硬件上运行量化模型的惊人能力，将内存墙的挑战直接带入了终端用户领域。
云服务商：
主要云提供商（AWS、Google Cloud、Azure）现在必须在定价和实例配置中明确考虑内存带宽。提供高带宽实例（如搭载H200的实例）成为新的差异化竞争点，但也带来了更高的成本，迫使客户在性能与预算之间做出更精细的权衡。