技术深度解析
对推理效率的追求催生了一个丰富的优化技术生态，每种技术针对推理管线中的不同瓶颈。在硬件层面，根本挑战在于现代LLM是内存受限而非计算受限：将模型权重从内存移至处理单元的时间，往往超过执行实际矩阵乘法的时间。这一洞察推动了三大前沿领域的创新：量化、推测解码和KV缓存管理。
量化将模型权重和激活值的精度从浮点数（如FP16）降至更低比特表示，如INT8、INT4甚至二进制。最广泛采用的方法是训练后量化（PTQ），即在少量数据集上校准预训练模型以确定最优缩放因子。Frantar等人于2023年提出的GPTQ，利用近似二阶优化最小化量化误差，已成为4比特量化的事实标准。开源仓库`GPTQ-for-LLaMA`（超过5000星标）提供了参考实现。最近，MIT和NVIDIA研究人员开发的AWQ（激活感知权重量化），通过仅保护1%的显著权重，在GPTQ有时会降精度的4比特精度下保持了准确率。关键权衡在于压缩比与精度损失，如下表所示。
| 量化方法 | 精度 | 模型体积缩减 | 准确率（MMLU，LLaMA-2 7B） | 吞吐量（token/秒） |
|---|---|---|---|---|
| FP16（基线） | 16-bit | 1x | 45.3% | 25 |
| GPTQ | 4-bit | 4x | 44.8% | 68 |
| AWQ | 4-bit | 4x | 45.1% | 72 |
| NF4（QLoRA） | 4-bit | 4x | 44.5% | 65 |
数据要点： AWQ实现了最佳的准确率-吞吐量权衡，MMLU仅下降0.2%，吞吐量却几乎翻了三倍。这使其成为聊天机器人等延迟敏感型应用的首选。
推测解码针对的是另一种低效问题：自回归生成需要逐token顺序计算，导致GPU利用率不足。该技术由Leviathan等人（Google）和Chen等人（DeepMind）于2023年正式提出，利用一个快速的小型草稿模型并行提出多个候选token。大型目标模型随后在单次前向传播中验证这些候选，接受或拒绝它们。当草稿模型准确率较高时（通常70-90%接受率），有效生成速度可提升2至3倍。开源库`speculative-decoding`（GitHub，约2000星标）为Hugging Face模型实现了该技术。Together Computer团队开发的变体Medusa，则完全取消了草稿模型，直接在目标模型上添加多个预测头，在无需管理两个模型开销的情况下实现了类似加速。
KV缓存管理对对话式AI至关重要，因为每个新token都必须关注所有之前的token。键值（KV）缓存存储这些中间表示，但其大小随序列长度和批次大小线性增长，迅速耗尽GPU内存。vllm项目（现GitHub星标超过30000）引入的PagedAttention技术，将KV缓存按固定大小块管理，类似于操作系统中的虚拟内存，减少了内存碎片，并实现了大批次下近乎零开销。结果是服务多个并发用户时吞吐量提升2-4倍。另一种方法StreamingLLM（MIT和Meta于2024年发表）丢弃缓存中的早期token，同时保留一小部分“注意力汇聚点”，从而实现无限长度对话而不导致内存爆炸。
数据要点： 组合这些技术可产生叠加效益。一个使用AWQ量化、Medusa推测解码和PagedAttention的生产系统，相比朴素FP16实现，吞吐量可提升10-15倍，且精度损失极小。
关键玩家与案例研究
推理效率竞赛吸引了从超大规模云厂商到初创公司的众多参与者，各自采用不同的优化策略。
NVIDIA凭借其TensorRT-LLM库主导硬件端，该库提供包括内核融合、量化（FP8、INT4）和飞行中批处理在内的全面优化栈。TensorRT-LLM已集成至NVIDIA的Triton推理服务器，并驱动着众多企业部署。然而，其闭源性质以及与NVIDIA GPU的紧密耦合限制了灵活性。AMD正通过其ROCm软件栈和开源`vllm`集成进行反击，但其在LLM推理领域的市场份额仍低于5%。
Together Computer已崛起为领先的推理服务提供商，提供对LLaMA-3和Mixtral等模型的API访问，并采用了Medusa推测解码和FlashAttention-3等优化。其基准测试显示，2-