技术深度解析
GGUF、GPTQ和AWQ三种格式并非可互换的替代品；它们本质上是针对同一问题的不同解决路径：在最小化精度损失的前提下，减少神经网络权重的内存占用。
GGUF（GPT-Generated Unified Format） 是GGML的继任者，专为llama.cpp库设计。它采用分块量化方案，将权重分组（通常为32或128个元素）并独立量化。这使得单个模型文件内可支持混合精度存储——这对内存带宽成为瓶颈的CPU推理至关重要。GGUF支持从Q2_K到Q8_0的广泛量化级别，每个级别都代表大小与质量之间的权衡。其关键创新在于使用重要性矩阵，优先对不那么关键的权重进行更激进的量化，从而在极低比特宽度下保留模型质量。开源仓库`ggerganov/llama.cpp`在GitHub上拥有超过70,000颗星，是目前维护最活跃的CPU推理引擎。
GPTQ（GPT Post-Training Quantization） 采取了不同的方法。由IST Austria的研究人员开发，它使用最优脑量化（OBQ），一种二阶方法，迭代量化权重同时补偿每一步量化引入的误差。GPTQ针对GPU执行进行了高度优化，利用融合量化与矩阵乘法的CUDA内核。它通常运行在4位或3位精度下，并在许多基准测试中实现近乎无损的压缩。参考实现可在GitHub的`IST-DASLab/gptq`找到，但最广泛使用的分支是`qwopqwop200/GPTQ-for-LLaMa`，该分支已集成到AutoGPTQ库中。
AWQ（Activation-aware Weight Quantization） 是最新的入局者，由MIT和NVIDIA的研究人员共同提出。AWQ观察到并非所有权重同等重要：对应显著激活通道（具有大幅值的通道）的权重对模型精度更为关键。AWQ并非统一处理所有权重，而是应用逐通道缩放因子来保护这些显著权重免受量化误差影响。这种硬件感知方法使AWQ在相同比特宽度下能实现比GPTQ更好的精度，尤其在GSM8K（数学）和HumanEval（代码）等复杂任务上。官方实现位于`mit-han-lab/awq`，并已迅速获得采用，拥有超过3,000颗星，并已集成到vLLM和TGI中。
| 格式 | 主要硬件 | 典型比特宽度 | 推理引擎 | 精度保留（MMLU 4位） | 相比FP16的内存缩减 |
|---|---|---|---|---|---|
| GGUF | CPU、Apple Silicon、GPU混合 | 2-8位（Q2_K至Q8_0） | llama.cpp | 97.2% | 4倍-8倍 |
| GPTQ | NVIDIA GPU（CUDA） | 3-4位 | AutoGPTQ、vLLM、TGI | 98.1% | 4倍-6倍 |
| AWQ | NVIDIA GPU（CUDA）、AMD ROCm | 4位 | vLLM、TGI、AWQ内核 | 98.5% | 4倍 |
数据要点： AWQ在4位精度下实现了最高的精度保留，但GGUF在跨硬件和比特宽度方面提供了最大的灵活性。GPTQ仍然是最成熟的GPU优化格式，拥有最广泛的生态系统支持。
关键玩家与案例研究
量化格式战争由不同的社区和公司推动，各自拥有不同的利益诉求。
Georgi Gerganov 是llama.cpp和GGUF格式的创建者。他的工作对于让LLM在消费级硬件上可访问起到了关键作用。llama.cpp项目已催生数十个分支和衍生工具，包括Ollama，它将GGUF模型打包成简单的CLI。Ollama本身已成为本地AI实验的事实标准，每月下载量超过100,000次。
AutoGPTQ 由社区维护并得到Hugging Face支持，是GPTQ量化最流行的库。它支持包括LLaMA、Mistral和Falcon在内的广泛模型。该库已集成到Hugging Face Transformers生态系统中，允许用户通过一行代码加载量化模型。Together AI 和 Fireworks AI 等公司在其推理API中使用GPTQ，理由是其在同时服务多个用户时的吞吐量优势。
AWQ 由MIT的 Song Han 团队开发，Song Han是高效深度学习领域的知名人物。该格式已被 NVIDIA 自身采用，NVIDIA将AWQ集成到其推理优化库TensorRT-LLM中。这一背书使AWQ在企业级NVIDIA硬件部署中具有显著优势。vLLM 作为许多初创公司使用的高吞吐量推理引擎，原生支持AWQ，并报告在批量工作负载下相比GPTQ有1.5倍的吞吐量提升。
| 格式 | 支持者/创建者 | GitHub星数（主仓库） | 生产环境采用情况 | 关键集成 |
|---|---|---|---|---|
| GGUF | Georgi Gerganov | 70,000+（llama.cpp） | 高（Ollama、LM Studio） | llama.cpp、Ollama、text-generation-webui |
| GPTQ | IST Austria / 社区 | 4,000+（AutoGPTQ） | 高（Together AI、Fireworks AI） | AutoGPTQ、Hugging Face Transformers、vLLM |
| AWQ | MIT-HAN Lab / NVIDIA | 3,000+（mit-han-lab/awq） | 中高（vLLM、TensorRT-LLM） | vLLM、TGI、TensorRT-LLM |