技术深度剖析
从训练到推理的转变，不仅是商业重心的转移，更是一个根本不同的工程问题。训练需要大规模矩阵-矩阵乘法，精度要求高（FP16/BF16），且需要巨大的内存容量来存储梯度和优化器状态。相比之下，推理主要由矩阵-向量乘法主导，内存带宽是瓶颈，而非算力。一个70B参数模型生成单个token，需要将整个模型权重从HBM加载到计算单元——这是一个内存受限而非计算受限的过程。这就是为什么英伟达H100虽然拥有3.35 TB/s的HBM3带宽，但在推理过程中仅能达到其理论FLOPS的一小部分。
据传，DeepSeek的芯片设计聚焦于三大关键架构创新：
1. 稀疏计算引擎：现代LLM表现出显著的激活稀疏性——尤其是采用ReLU或MoE（混合专家）架构的模型。DeepSeek-V3采用MoE架构，拥有256个专家，每个token仅激活其中8个。通用GPU会在非活跃专家上浪费功耗和硅片面积。定制芯片可以硬连线专家路由并跳过零激活，在MoE模型上实现4-8倍的理论吞吐量提升。
2. 激进的低精度支持：虽然英伟达H100支持FP8，但DeepSeek的芯片预计将在硬件层面原生支持INT4甚至三元（2比特）量化。这一点至关重要，因为对于大多数任务而言，INT4量化带来的推理质量下降微乎其微（在MMLU上准确率损失不到1%），而内存带宽需求却降低了4倍。结合针对4比特向量优化的定制内存子系统，该芯片在相同功耗下，每秒处理的token数可能是H100的2-3倍。
3. 分块内存架构：据传，DeepSeek的设计并非采用统一的HBM池，而是使用多个较小的HBM堆栈，并采用非统一内存访问（NUMA）拓扑。这使得每个计算块能以更低延迟访问其本地内存，从而减少自回归解码过程中跨块通信的开销。这与Cerebras的晶圆级方案类似，但规模更小、更实用。
相关开源项目：对于有兴趣探索这些概念的读者，以下GitHub仓库提供了实际实现：
- llama.cpp（6万+星标）：展示了如何通过量化和内存高效内核优化基于CPU的推理。其GGUF格式已成为在消费级硬件上运行LLM的事实标准。
- vLLM（4.5万+星标）：实现了PagedAttention，这是一种通过消除内存碎片来显著提升推理吞吐量的内存管理技术。其许多优化（连续批处理、前缀缓存）正被定制硅设计所采纳。
- TensorRT-LLM（英伟达的开源库）：虽然专用于英伟达，但其内核融合和动态批处理技术展示了DeepSeek必须复现的软硬件协同设计原则。
| 指标 | 英伟达 H100 (SXM) | DeepSeek 定制芯片 (传闻) | Google TPU v5p |
|---|---|---|---|
| 精度支持 | FP8/FP16/BF16 | FP8/INT4/INT2 | BF16/INT8 |
| 内存带宽 | 3.35 TB/s | 4.0 TB/s (估计) | 2.0 TB/s |
| MoE稀疏支持 | 软件 (CUDA) | 硬件原生 | 软件 (XLA) |
| TDP (瓦特) | 700W | 450W (估计) | 600W |
| 估计吞吐量 (70B, INT4) | 1,200 tokens/s | 3,500 tokens/s (估计) | 800 tokens/s |
| 单芯片成本 (估计) | 30,000美元 | 8,000美元 (规模化后) | 不适用 (内部使用) |
数据要点：假设传闻规格成立，DeepSeek的定制芯片相比H100，推理吞吐量可提升约3倍，而单芯片成本仅为后者一半。关键差异化在于硬件原生的MoE支持，这是英伟达架构在无显著软件开销的情况下无法匹敌的。
关键玩家与案例分析
DeepSeek的举措是AI硬件领域更广泛垂直整合浪潮的一部分。以下是主要玩家及其策略：
1. OpenAI：OpenAI曾探索收购芯片初创公司（例如传闻中对Graphcore的收购意向），并从谷歌和苹果聘请了硬件工程师。然而，OpenAI仍严重依赖微软的Azure云，而Azure主要使用英伟达和AMD的GPU。OpenAI的策略似乎是防御性的——确保算力供应，而非追求成本领先。
2. Meta (MTIA)：Meta的MTIA（Meta训练与推理加速器）项目是社交媒体巨头中最为先进的。第一代MTIA芯片于2023年发布，专注于推荐系统的推理，而非LLM。针对生成式AI的第二代芯片正在开发中。Meta的优势在于规模：它可以将芯片开发成本分摊到数十亿用户身上。然而，其芯片并非为满足LLM推理的相同精度要求而设计。
3. Google (TPU)：谷歌的TPU是垂直整合的黄金标准。2023年发布的TPU v5p，其每