技术深度解析
本地推理优化的核心建立在三大支柱之上：量化、剪枝与推测解码。每一项技术都针对在有限硬件上运行大型模型的不同瓶颈。
量化降低了模型权重和激活值的数值精度。标准模型使用32位浮点数（FP32）或16位浮点数（FP16）。量化将这些数值映射到更低的位宽，如8位整数（INT8）、4位甚至2位。这直接减少了内存占用并加速了计算，因为在大多数硬件上，低精度算术运算更快。挑战在于保持准确性。训练后量化（PTQ）更简单但可能导致性能下降，而量化感知训练（QAT）在训练过程中模拟量化，以获得更好的结果。开源库`bitsandbytes`（在GitHub上拥有超过10,000颗星）已成为4位和8位量化的标准，使Llama 2 70B这样的模型能在单张消费级GPU上运行。更先进的技术如GPTQ和AWQ（激活感知权重量化）会优化哪些权重对量化最敏感，从而在4位精度下实现近乎无损的压缩。最新的前沿是2位量化，QuIP#等方法表明，即使在这种极端压缩下，许多任务的困惑度下降也能控制在5%以内。
剪枝从网络中移除冗余或不重要的连接（权重）。非结构化剪枝将单个权重归零，产生稀疏矩阵，需要专门的硬件才能实现加速。结构化剪枝则移除整个神经元、通道或注意力头，在传统硬件上能立即获得加速。近期研究（例如SparseGPT、Wanda）的关键发现是，大型语言模型可以在单次前向传播中被剪枝至50%-70%的稀疏度而不会显著损失准确性，从而无需重新训练。这对于缺乏重新训练计算资源的本地部署至关重要。
推测解码解决了文本生成的顺序性问题。它不再使用大型模型逐个生成token，而是由一个更小、更快的草稿模型生成一系列候选token。然后大型模型并行验证这个序列，接受或拒绝这些token。由于验证步骤在现代硬件上高度可并行化，这可以将延迟降低2-3倍。Google的研究以及`Medusa`框架（为基础模型添加多个解码头）等实现表明，这项技术在消费级GPU甚至CPU上特别有效。其代价是加载两个模型会增加内存使用，但延迟方面的收益往往超过这一代价。
| 技术 | 内存缩减 | 延迟提升 | 准确性影响（典型值） | 硬件要求 |
|---|---|---|---|---|
| FP16基线 | 1倍 | 1倍 | 基线 | 高端GPU（24GB以上） |
| INT8量化（PTQ） | 2倍 | 1.5-2倍 | 损失<1% | 中端GPU（12GB以上） |
| 4位量化（GPTQ/AWQ） | 4倍 | 2-3倍 | 损失1-3% | 消费级GPU（8GB以上） |
| 2位量化（QuIP#） | 8倍 | 3-4倍 | 损失3-5% | 消费级GPU（4GB以上） |
| 50%结构化剪枝 | 2倍 | 1.5-2倍 | 损失2-5% | 视情况而定 |
| 推测解码（Medusa） | 1.5-2倍（两个模型） | 2-3倍 | 损失<1% | 消费级GPU（12GB以上） |
数据要点： 4位量化与推测解码的组合为消费级硬件提供了内存缩减与延迟提升的最佳平衡，且准确性折衷最小。这是当前本地部署的最佳平衡点。
关键参与者与案例研究
多家公司和开源项目正在推动这场革命。Apple一直是低调的领导者，其Core ML框架和M系列芯片中的ANE（Apple神经网络引擎）功不可没。专为Apple Silicon设计的数组框架MLX的发布，使得在本地运行优化模型变得前所未有的简单。Apple的策略很明确：让AI成为设备体验的核心功能，而非一项云服务。其用于自动更正和照片搜索等功能的设备端模型已经高度优化，现在他们正进军更大的LLM领域。
Meta是主要的开源贡献者。他们的Llama模型，尤其是Llama 2和即将推出的Llama 3，是本地优化的主要目标。Llama 2在宽松许可下发布，催生了一个完整的量化工具和本地推理引擎生态系统。Meta自身在量化和剪枝方面的研究已公开发表，加速了该领域的发展。
Microsoft通过其Windows AI平台和ONNX Runtime大力投资本地AI。其`DirectML`后端允许模型在任何兼容DirectX 12的GPU（包括集成显卡）上运行。Microsoft的Phi-3系列——一个由小型但能力强大的模型（3.8B、7B、14B）组成的家族——明确为本地部署而设计。例如，Phi-3-mini可以在手机上运行，并在某些任务上达到与更大模型相媲美的性能。