技术深度解析
三头垄断的扼制力建立在两项关键存储技术之上:高带宽内存(HBM)和先进NAND闪存。HBM是AI加速器的生命线——NVIDIA的H100和B200等GPU需要HBM3E堆叠,以超过3.2 TB/s的速度传输数据。其架构是通过硅通孔(TSV)和基础逻辑芯片垂直堆叠的DRAM芯片。三星、SK海力士和美光是全球唯三能够量产12层HBM3E堆叠的企业,每堆叠容量高达36 GB。制造工艺极其复杂:每个堆叠需要超过1000个TSV连接,而12层堆叠的良率仍徘徊在60-70%之间,这给了现有巨头巨大的先发优势。
在NAND方面,三巨头控制了AI数据中心所用3D NAND市场90%以上的份额。最新一代(V9/V10)采用300层以上的电荷陷阱闪存单元,实现了1 Tb芯片的密度。这种密度对于存储训练所需的海量数据集至关重要——LLaMA-3 405B仅模型权重就需要约2.4 TB。三巨头的控制力还延伸至控制器芯片和固件,形成了完整的锁定效应。
探索替代方案的关键GitHub仓库:
- OpenCXL (github.com/OpenCXL/OpenCXL):Compute Express Link标准的内存池化开源实现。超过2000颗星,内存解聚方向开发活跃。
- UPMEM (github.com/upmem):处理中内存(PIM)架构的开源工具,可能绕过传统HBM瓶颈。约1500颗星。
- 三星PNM SDK (github.com/Samsung/PNM):三星自家的近内存处理SDK,但属于专有软件——凸显了生态系统的封闭性。
基准数据:HBM3E性能对比
| 制造商 | 产品 | 每堆叠容量 | 带宽 (TB/s) | 功耗 (W) | 良率 (12层) |
|---|---|---|---|---|---|
| SK海力士 | HBM3E (12-Hi) | 36 GB | 1.18 | ~12 | 65% |
| 三星 | HBM3E (12-Hi) | 36 GB | 1.15 | ~13 | 62% |
| 美光 | HBM3E (8-Hi) | 24 GB | 1.0 | ~10 | 70% |
数据要点: SK海力士在带宽和容量上领先,但美光在8层堆叠上的更高良率使其在低端AI工作负载中拥有成本优势。12层堆叠的良率差距(62-65%对比8层的70%)意味着三巨头可以通过限制最高性能部件的供应来维持高价。
关键玩家与案例研究
三星电子 – 按营收计算的最大玩家,三星控制着约40%的AI存储市场。其策略是垂直整合:自行制造HBM、NAND,甚至通过自研AI加速器(Mach-1)与NVIDIA竞争。三星已积极与超大规模云厂商锁定长期合同,包括与谷歌签订的一份据称价值100亿美元的HBM3E供应协议,有效期至2027年。然而,三星的HBM3E在2025年初因散热问题未能通过NVIDIA的认证,使SK海力士暂时占据优势。
SK海力士 – 这家纯存储专业厂商已成为HBM领域事实上的领导者,供应NVIDIA超过50%的HBM3E需求。其成功建立在先进的大规模回流模塑底部填充(MR-MUF)技术之上,该技术改善了12层堆叠的散热性能。SK海力士2025年第二季度AI存储营收同比增长180%,达到280亿美元。该公司还投资150亿美元在美国印第安纳州新建一座HBM晶圆厂,以规避地缘政治风险。
美光科技 – 三巨头中规模最小,但仍占据约20%市场份额。美光专注于成本领先,采用1-beta DRAM工艺和232层NAND。它已赢得AMD MI300X和MI400加速器的关键设计订单。美光的HBM3E(8层)定价比竞争对手低15-20%,使其在带宽需求较低的推理工作负载中具有吸引力。
案例研究:初创公司的困境
以Groq为例,这家AI推理初创公司构建定制LPU(语言处理单元)。Groq的LPU依赖SRAM而非HBM,但该公司仍需要大量NAND存储来存放模型权重。2024年,Groq报告存储成本占其总基础设施支出的40%,高于2023年的25%。这迫使Groq将其1000-LPU集群的部署推迟了六个月。同样,Cerebras使用晶圆级引擎和片上SRAM,但其CS-3系统在某些工作负载中仍需外部HBM,Cerebras已公开抱怨美光的定价。
竞品对比:存储替代方案
| 解决方案 | 类型 | 带宽 | 延迟 | 成本/GB | 成熟度 |
|---|---|---|---|---|---|
| HBM3E (三巨头) | DRAM堆叠 | 1.2 TB/s | 15 ns | $8-12 | 量产 |
| CXL内存池化 | 基于PCIe的DRAM | 64 GB/s | 100 ns | $3-5 | 早期采用 |
| 处理中内存 (PIM) | DRAM+计算 | 0.5 TB/s | 10 ns | $15-20 | 原型 |
| Optane (已停产) | 持久内存 | 6 GB/s | 300 ns | $2 | 生命周期终结 |
数据要点: CXL内存池化提供了