技术深度解析
量化通过用更少的比特表示权重和激活值，减少了神经网络的内存占用和计算成本。标准方法在训练时使用32位浮点数（FP32），但推理可以容忍更低的精度。关键技术包括：
- 训练后量化（PTQ）： 将预训练的FP32模型转换为INT8、INT4甚至INT2，无需重新训练。使用校准数据确定最优缩放因子和零点。最流行的开源库是[llama.cpp](https://github.com/ggerganov/llama.cpp)（超过7万星标），它使用GGML/GGUF格式实现了量化LLM的高效CPU/GPU推理。另一个是[AutoGPTQ](https://github.com/AutoGPTQ/AutoGPTQ)（超过4千星标），它使用GPTQ算法实现极端量化。
- 量化感知训练（QAT）： 在训练过程中通过插入伪量化节点来模拟量化。这使模型能够适应更低的精度，通常能恢复PTQ中损失的准确率。TensorRT和PyTorch的torch.ao.quantization支持此方法。
- SmoothQuant与AWQ： 解决激活值中异常通道的高级方法。SmoothQuant将量化难度从激活值转移到权重，而AWQ（激活感知权重量化）则识别出重要的权重通道并加以保护。AWQ已集成到vLLM和TensorRT-LLM中。
基准性能： 下表比较了Llama 2 70B在不同量化级别下的表现（MMLU基准，5-shot）：
| 量化级别 | 每权重比特数 | 模型大小 (GB) | MMLU分数 | 吞吐量 (RTX 4090上的token数/秒) |
|---|---|---|---|---|
| FP16 | 16 | 140 | 68.9 | 2.1 |
| INT8 | 8 | 70 | 68.7 | 4.5 |
| INT4 (GPTQ) | 4 | 35 | 68.3 | 8.2 |
| INT2 (AWQ) | 2 | 18 | 66.1 | 12.0 |
数据要点： INT4量化实现了近乎无损的准确率（下降0.6%），同时内存减半、吞吐量翻倍。INT2牺牲了约2.8%的准确率，但能将700亿参数模型运行在20GB以下——适配单张消费级GPU。对于大多数应用，INT4是最佳平衡点。
架构洞见： 关键挑战在于异常特征——那些幅度比平均值大10-100倍的激活值。这些异常值会导致量化误差传播。微软（SmoothQuant）和MIT（AWQ）的最新研究表明，通过逐通道缩放或显著性保护，这些异常值可以被驯服。GitHub仓库[llm-awq](https://github.com/mit-han-lab/llm-awq)（超过2千星标）提供了实用实现。
关键参与者与案例研究
Meta： 开源了Llama 3，其设计对量化友好。其设备端Llama变体使用INT4，可在旗舰智能手机上运行。Meta的策略很明确：通过让模型足够小、任何人都能运行，来掌控边缘AI生态系统。
Apple： Apple Intelligence利用设备端模型和针对INT8/INT4优化的定制芯片（Neural Engine）。其方法优先考虑隐私和延迟——无需云端往返。iPhone 15 Pro可在本地运行70亿参数模型，用于实时转录和图像编辑。
NVIDIA： TensorRT-LLM支持AWQ、GPTQ和SmoothQuant。其H100 GPU配备FP8 Tensor Core，专为高效推理设计。NVIDIA的CUDA-Q平台瞄准量子-经典混合模型，但量化仍是其推理堆栈的核心。
初创公司：
- Groq： LPU（语言处理单元）架构默认使用INT8，在Llama 2 70B上实现了500+ token/秒——比GPU解决方案快10倍。
- Mistral AI： Mixtral 8x7B使用量化以适配消费级硬件，从而支撑其边缘智能体平台。
- Hugging Face： Text Generation Inference（TGI）和Optimum库支持量化，使其触达数百万开发者。
设备端LLM解决方案对比：
| 解决方案 | 模型大小 | 硬件 | 延迟（首token） | 用例 |
|---|---|---|---|---|
| Apple Intelligence | 7B INT4 | iPhone 15 Pro Neural Engine | 0.3秒 | 实时翻译、摘要 |
| Meta Llama 3 On-Device | 8B INT4 | Snapdragon 8 Gen 3 | 0.5秒 | 聊天、内容生成 |
| Google Gemini Nano | 1.8B INT4 | Pixel 8 Tensor G3 | 0.2秒 | 智能回复、转录 |
| Microsoft Phi-3-mini | 3.8B INT4 | Surface Pro 10 | 0.4秒 | 文档问答 |
数据要点： 设备端模型如今已可用于实时任务。Apple凭借定制芯片在延迟优化方面领先，而Meta和Google则优先考虑模型尺寸缩减。权衡在于能力——较小的模型（1.8B）在复杂推理上表现不佳，但在狭窄任务上表现出色。
行业影响与市场动态
量化正从三个方面重塑AI价值链：
1. 推理民主化： 运行700亿参数模型的成本已从每次查询约0.10美元（云API）降至每次查询约0.002美元（本地GPU）。这使得初创公司无需承担云账单即可构建AI产品。边缘AI推理市场预计将从2024年的120亿美元增长至2030年的650亿美元（年复合增长率32%）。
2. 向私密AI转变： 企业正将敏感数据迁移至本地部署。量化使私有化部署成为可能——无需将数据发送至云端即可获得大模型能力。金融、医疗和法律行业尤其受益，它们现在可以在本地硬件上运行合规的AI工作负载。
3. 硬件创新： 芯片制造商正在设计针对低位推理进行优化的专用硬件。Apple的Neural Engine、Qualcomm的AI Engine和NVIDIA的Tensor Core都针对INT8/INT4操作进行了微调。下一波浪潮将是2位甚至1位量化，这需要全新的硬件架构。
市场预测： 到2027年，超过60%的AI推理将在边缘设备上完成，而2023年这一比例仅为15%。量化是实现这一转变的关键推动力。