技术深度解析
GPU内存公式看似简单，实则影响深远。其基本方程为：
总GPU内存 = 模型权重 + 优化器状态 + 梯度 + 激活值 + KV缓存
组件拆解
模型权重： 这是最直观的部分。对于以*B*字节每参数存储的*P*参数模型，权重内存 = *P × B*。在FP32（4字节）下，7B模型需要28GB。FP16/BF16（2字节）降至14GB。INT8（1字节）降至7GB，INT4（0.5字节）仅需3.5GB。这种线性缩放关系解释了为何量化对于消费级硬件不可或缺。
优化器状态和梯度： 训练期间，AdamW优化器为每个参数存储两个动量项（均为FP32），每参数增加8字节。梯度再增加4字节。对于7B模型，这额外增加84GB——使得单张24GB显卡训练成为不可能，除非借助ZeRO（微软DeepSpeed库中的零冗余优化器）等技术。ZeRO将优化器状态、梯度和参数分布到多张GPU上，使得在128张A100上训练175B模型成为可能。
激活值： 这是最不稳定的部分。对于具有*L*层、*d*隐藏维度、*s*序列长度和*b*批大小的Transformer，激活内存按*O(L × d × s × b)*缩放。对于L=32、d=4096、s=4096、b=1的7B模型，激活值约消耗2-4GB。但当s=128K时，这一数字膨胀至60-80GB，常常超过权重。
KV缓存： 沉默杀手。对于每个注意力头，KV缓存存储每个token的键和值张量。对于具有*h*个头、*d_k*头维度和序列长度*s*的模型，每层KV缓存 = *2 × h × d_k × s × b*。在FP16下，s=32K的7B模型（h=32，d_k=128）消耗：2 × 32 × 128 × 32768 × 1 × 2字节 = 每层512MB，32层总计16GB。这超过了FP16下14GB的权重。在s=128K时，达到64GB——灾难性的。
| 模型 | 参数量 | 精度 | 权重 (GB) | KV缓存 @32K (GB) | 总计 @32K (GB) | 适配RTX 4090 (24 GB)? |
|---|---|---|---|---|---|---|
| LLaMA 7B | 7B | FP16 | 14 | 16 | 30 | 否 |
| LLaMA 7B | 7B | INT8 | 7 | 8 (INT8 KV) | 15 | 是 |
| LLaMA 13B | 13B | INT8 | 13 | 16 | 29 | 否 |
| LLaMA 13B | 13B | INT4 | 6.5 | 8 (INT4 KV) | 14.5 | 是 |
| LLaMA 70B | 70B | INT8 | 70 | 32 | 102 | 否 (需要A100 80 GB) |
数据要点： 表格显示，对于7B模型，INT8量化是在24GB显卡上适配32K上下文的最低要求。对于13B模型，则需要INT4。70B模型在任何合理的上下文长度下都无法在消费级硬件上运行。在长上下文中，KV缓存占据主导地位，使得对缓存本身进行量化（例如KIVI，一个在GitHub上拥有2.3K星的项目，将KV缓存量化至2比特）成为关键优化。
值得关注的GitHub仓库
- KIVI (github.com/jy-yuan/KIVI)：2.3K星。将KV缓存量化至2-4比特，内存减少4-8倍，精度损失极小。对于长上下文推理至关重要。
- llama.cpp (github.com/ggerganov/llama.cpp)：65K星。CPU/GPU推理的参考实现，支持激进量化（最高2比特）。证明7B模型可以在4GB内存的树莓派上运行。
- vLLM (github.com/vllm-project/vllm)：40K星。使用PagedAttention像虚拟内存一样管理KV缓存，减少碎片，吞吐量提升2-4倍。
- DeepSpeed (github.com/microsoft/DeepSpeed)：35K星。ZeRO-3将优化器状态和梯度卸载到CPU，使得在8张A100上训练175B模型成为可能。
关键玩家与案例研究
量化先驱
Tim Dettmers（华盛顿大学）通过QLoRA开创了4比特量化，在单张48GB GPU上微调65B模型。他在bitsandbytes（GitHub，12K星）上的工作使INT8/INT4对PyTorch用户触手可及。关键洞察：通过块式量化和双重量化，大多数任务的精度损失低于1%。
Georgi Gerganov（llama.cpp的创建者）证明，使用2比特量化，7B模型可以在4GB的树莓派上运行。他的方法使用GGML/GGUF格式将权重打包至2-8比特，并采用自定义CPU内核，在小批量场景下性能优于GPU方案。
硬件厂商
NVIDIA 凭借H100（80 GB HBM3，3.35 TB/s带宽）和A100（80 GB，2 TB/s）占据主导地位。H100的FP8 Tensor Core支持原生8比特推理，无需量化开销即可将内存需求减半。然而，每张GPU超过3万美元的价格让大多数开发者望而却步。
AMD 正以MI300X（192 GB HBM3，5.2 TB/s）奋起反击。虽然原始内存更高，但软件支持滞后。ROCm的量化库尚不成熟，PyTorch支持也不稳定。MI300X可以在INT8精度下以128K上下文运行70B模型，但部署复杂度仍然很高。
Apple 是一匹黑马，其M3 Ultra（192 GB统一内存）架构消除了PCIe瓶颈，非常适合推理。然而，Apple的GPU计算能力弱于NVIDIA。