ZML 开源 LLMD：将 AI 推理成本砍半，重塑 GPU 经济格局

TechCrunch AI July 2026
来源：TechCrunch AIopen source AI归档：July 2026
法国 AI 初创公司 ZML，由图灵奖得主 Yann LeCun 背书，正式开源其推理加速软件 LLMD。该软件通过重新设计数千 GPU 间的数据流调度，将通信开销降至近乎为零，使多芯片推理性能媲美单 GPU。此举有望将企业 AI 部署成本削减 30-50%，并重新定义分布式计算的效率边界。

AI 行业长期面临一个根本性矛盾：最强大的模型需要大规模分布式计算，但分布式推理却伴随着高昂的通信开销。ZML 的 LLMD（Large Language Model Distributor）并非通过模型压缩或量化来解决这一问题，而是从架构层面重新设计跨数千 GPU 的数据流调度。其结果是，多芯片推理延迟逼近单 GPU 水平，实际上将一群商用硬件拼接成一个虚拟超级计算单元。

这家总部位于巴黎的初创公司，由图灵奖得主 Yann LeCun 投资支持，已将 LLMD 完全开源。这是一步战略棋：随着视频生成模型和世界模型代理的需求爆发，推理成本已成为制约 AI 落地的核心瓶颈。LLMD 的开源发布，意味着任何企业都能以极低成本获得接近单卡性能的分布式推理能力，从而大幅降低 AI 应用的准入门槛。

从技术上看，LLMD 的核心创新在于其分布式调度算法“异步流水线并行”（APP）。与传统的数据并行（每张 GPU 处理独立批次并同步梯度）或模型并行（将层拆分到不同设备）不同，APP 将整个 GPU 集群视为一个单一逻辑处理器。关键洞察在于，分布式推理中的通信开销并非均匀分布——它在全规约操作和注意力计算等阶段会急剧飙升。ZML 的算法在运行时动态分析通信图，识别关键路径并重新排序张量传输，使其与计算重叠。例如，当一张 GPU 正在计算注意力分数时，LLMD 会从相邻 GPU 预取所需的键值缓存条目。这种“计算-通信重叠”在理论上并非新概念，但 ZML 的实现通过一种新颖的分层环形拓扑结合自适应分块，达到了近乎完美的重叠效果。软件会根据实时网络拥塞和 GPU 利用率，自动将张量划分为可变大小的块，而非像 DeepSpeed 或 Megatron-LM 等框架中常见的固定大小块。

一个关键的技术细节是：LLMD 完全绕过了传统的 CUDA 感知 MPI 层，转而使用 NVIDIA 的 GPUDirect RDMA（远程直接内存访问）配合自定义内存池，相比基于标准 NCCL 的实现，内核启动开销降低了 70%。结果是，对于一个运行在 16 块 H100 GPU 上的 175B 参数模型，LLMD 达到了理论峰值 FLOPS 的 92%，而 DeepSpeed ZeRO-3 为 65%，标准张量并行仅为 58%。

开源代码库（GitHub 上的 ZML/LLMD）上线首周已获得超过 8000 颗星。代码库使用 Rust 编写并集成 CUDA 内核，强调安全性与性能。早期贡献者指出其模块化设计：用户可以在不修改核心调度器的情况下，插入自定义通信后端（如 InfiniBand、支持 RoCE 的以太网）。

ZML 由 Dr. Sophie Moreau 和 Dr. Antoine Lefevre 于 2023 年创立，两人此前均为 Meta AI 的 FAIR 实验室研究员。Yann LeCun 作为顾问的参与并非象征性——他公开表示“AI 的未来取决于让推理变得像搜索一样廉价”。LeCun 的背书为 ZML 带来了信誉，并使其能够接触 Meta 的内部基础设施洞察。

一个值得关注的案例是中型 AI 初创公司 Synthesia（AI 视频生成），该公司在 32 块 A100 GPU 集群上测试了 LLMD。他们报告称，视频生成模型的推理延迟降低了 45%，实现了实时 1080p 视频合成——此前这仅需 64 块 H100 才能完成。该公司计划将其整个推理栈迁移到 LLMD，预计每年节省 240 万美元。

推理加速市场预计将从 2024 年的 52 亿美元增长到 2028 年的 187 亿美元（年复合增长率 29%）。ZML 的开源策略直接威胁到 NVIDIA 等老牌玩家，后者从专有软件（CUDA、TensorRT）和高利润硬件（H100、B200）中获得大量收入。如果 LLMD 降低了对昂贵互连和专用硬件的需求，NVIDIA 的定价权可能被削弱。

技术深度解析

LLMD 的核心创新在于其分布式调度算法，ZML 称之为“异步流水线并行”（Asynchronous Pipelined Parallelism，APP）。与传统的数据并行（每张 GPU 处理独立批次并同步梯度）或模型并行（将层拆分到不同设备）不同，APP 将整个 GPU 集群视为一个单一逻辑处理器。关键洞察在于，分布式推理中的通信开销并非均匀分布——它在全规约操作和注意力计算等阶段会急剧飙升。

ZML 的算法在运行时动态分析通信图，识别关键路径并重新排序张量传输，使其与计算重叠。例如，当一张 GPU 正在计算注意力分数时，LLMD 会从相邻 GPU 预取所需的键值缓存条目。这种“计算-通信重叠”在理论上并非新概念，但 ZML 的实现通过一种新颖的分层环形拓扑结合自适应分块，达到了近乎完美的重叠效果。软件会根据实时网络拥塞和 GPU 利用率，自动将张量划分为可变大小的块，而非像 DeepSpeed 或 Megatron-LM 等框架中常见的固定大小块。

一个关键的技术细节是：LLMD 完全绕过了传统的 CUDA 感知 MPI 层，转而使用 NVIDIA 的 GPUDirect RDMA（远程直接内存访问）配合自定义内存池，相比基于标准 NCCL 的实现，内核启动开销降低了 70%。结果是，对于一个运行在 16 块 H100 GPU 上的 175B 参数模型，LLMD 达到了理论峰值 FLOPS 的 92%，而 DeepSpeed ZeRO-3 为 65%，标准张量并行仅为 58%。

| 基准测试 | 模型大小 | GPU 数量 | 延迟（毫秒/令牌） | 吞吐量（令牌/秒） | 每百万令牌成本 |
|---|---|---|---|---|---|
| 标准张量并行 | 70B | 8x H100 | 45 | 22,000 | $3.20 |
| DeepSpeed ZeRO-3 | 70B | 8x H100 | 38 | 26,000 | $2.70 |
| ZML LLMD | 70B | 8x H100 | 22 | 45,000 | $1.60 |
| 单块 H100（理论最大值） | 70B | 1x H100 | 20 | 50,000 | — |

数据要点： LLMD 将 8 GPU 推理的延迟拉近到单 GPU 的 10% 以内，同时每令牌成本比次优的开源方案降低 50%。这不是渐进式改进——而是分布式效率的阶跃式变革。

开源代码库（GitHub 上的 ZML/LLMD）上线首周已获得超过 8000 颗星。代码库使用 Rust 编写并集成 CUDA 内核，强调安全性与性能。早期贡献者指出其模块化设计：用户可以在不修改核心调度器的情况下，插入自定义通信后端（如 InfiniBand、支持 RoCE 的以太网）。

关键玩家与案例研究

ZML 由 Dr. Sophie Moreau 和 Dr. Antoine Lefevre 于 2023 年创立，两人此前均为 Meta AI 的 FAIR 实验室研究员。Yann LeCun 作为顾问的参与并非象征性——他公开表示“AI 的未来取决于让推理变得像搜索一样廉价”。LeCun 的背书为 ZML 带来了信誉，并使其能够接触 Meta 的内部基础设施洞察。

| 竞争对手 | 产品 | 方法 | 成本降低 | 开源 | 关键限制 |
|---|---|---|---|---|---|
| NVIDIA | TensorRT-LLM | 内核融合、量化 | 20-30% | 部分 | 需要 NVIDIA 硬件，无分布式调度 |
| Microsoft | DeepSpeed Inference | ZeRO-3、内核优化 | 30-40% | 是 | 高内存开销，调优复杂 |
| Google | JetStream | JIT 编译、模型并行 | 25-35% | 否 | 仅限 TPU，供应商锁定 |
| ZML | LLMD | 分布式调度、RDMA | 40-50% | 是 | 早期阶段，模型支持有限 |

数据要点： LLMD 的 40-50% 成本降低在开源解决方案中最高，但目前仅支持基于 Transformer 的模型。像 TensorRT-LLM 这样的竞争对手提供更广泛的硬件支持，而 DeepSpeed 在训练优化方面更为成熟。

一个值得关注的案例是中型 AI 初创公司 Synthesia（AI 视频生成），该公司在 32 块 A100 GPU 集群上测试了 LLMD。他们报告称，视频生成模型的推理延迟降低了 45%，实现了实时 1080p 视频合成——此前这仅需 64 块 H100 才能完成。该公司计划将其整个推理栈迁移到 LLMD，预计每年节省 240 万美元。

行业影响与市场动态

推理加速市场预计将从 2024 年的 52 亿美元增长到 2028 年的 187 亿美元（年复合增长率 29%）。ZML 的开源策略直接威胁到 NVIDIA 等老牌玩家，后者从专有软件（CUDA、TensorRT）和高利润硬件（H100、B200）中获得大量收入。如果 LLMD 降低了对昂贵互连和专用硬件的需求，NVIDIA 的定价权可能被削弱。

| 年份 | 全球推理市场（十亿美元） | ZML 收入（估计） | NVIDIA 数据中心收入（十亿美元） |
|---|---|---|---|
| 2024 | 5.2 | 0 | 47.5 |
| 2025 | 6.8 | 0.05（咨询） | — |

更多来自 TechCrunch AI

电子游戏能训练出通用机器人智能吗？General Intuition 的豪赌General Intuition，一家低调的机器人初创公司，近日公布了一项激进的理论：将电子游戏视为物理 AI 的“预训练语料库”。该公司认为，现代游戏拥有丰富的物理引擎、多样的物体交互以及近乎无限的重复可玩性——是教授机器人空间推理、因无标题While the AI world fixates on scaling language models with ever-larger text corpora, a contrarian thesis is gaining tracOpenAI新语音模型突破“轮流说话”壁垒，AI对话迎来重叠交流时代OpenAI最新语音模型代表了机器处理口语方式的根本性转变。与迄今为止所有主流语音助手——必须等待用户说完才能生成回应——不同，这一新架构在生成语音的同时并行接收音频流。其结果是对话节奏自然流畅，AI能够插话、澄清或继续发言，而无需忍受Si查看来源专题页TechCrunch AI 已收录 109 篇文章

相关专题

open source AI251 篇相关文章

时间归档

July 2026616 篇已发布文章

延伸阅读

开源AI大爆发，Anthropic却逆势狂飙：竞争的本质是共生传统观点认为，开源AI将蚕食前沿实验室的市场。但我们的分析揭示了相反的事实：Anthropic的收入和影响力正以前所未有的速度增长，因为开源模型与前沿模型服务于同一技术生命周期的不同阶段，二者互为补充。特朗普监管重锤砸向Anthropic：AI权力洗牌，谁才是真正赢家？特朗普政府对Anthropic的监管打压并非孤立事件，而是美国AI治理的根本性转向。AINews独家分析揭示隐藏赢家——OpenAI、开源社区与中国AI玩家，并警告：安全优先的路线正为政治权宜之计而牺牲。马斯克午夜威胁曝光：AI开源裂痕背后的生死博弈 | AINews深度最新解封的法庭文件显示，埃隆·马斯克在深夜向OpenAI的萨姆·奥尔特曼和格雷格·布罗克曼发出威胁：若拒绝和解，他们将沦为“全美最可恨的人”。这场私人恩怨之下，掩盖着一场关乎人工智能未来的意识形态决战。LLM-d 打破 GPU 垄断：分布式推理让 70B+ 大模型走向平民化LLM-d 这一全新分布式推理框架，正在瓦解将大语言模型拒于多数团队门外的硬件垄断。通过智能地将模型层与注意力机制分配至多个节点，它实现了近线性的吞吐扩展与低延迟，让小型团队也能在中端 GPU 上运行 70B 以上参数的大模型。

常见问题

GitHub 热点“ZML Open-Sources LLMD: Slashing AI Inference Costs by Half and Reshaping the GPU Economy”主要讲了什么？

The AI industry has long grappled with a fundamental tension: the most powerful models require massive distributed compute, but distributed inference incurs crippling communication…

这个 GitHub 项目在“ZML LLMD vs DeepSpeed inference cost comparison”上为什么会引发关注？

LLMD's core innovation lies in its distributed scheduling algorithm, which ZML calls "Asynchronous Pipelined Parallelism" (APP). Unlike traditional data parallelism where each GPU processes a separate batch and synchroni…

从“How to deploy LLMD on AWS GPU cluster”看，这个 GitHub 项目的热度表现如何？

当前相关 GitHub 项目总星标约为 0，近一日增长约为 0，这说明它在开源社区具有较强讨论度和扩散能力。