技术深度解析
分布式LLM推理与开放互联网之间的根本性矛盾，可以拆解为四个相互关联的工程约束：延迟抖动、带宽不对称、同步开销和信任验证。
延迟抖动与同步税
LLM推理，尤其是自回归解码，本质上是顺序执行的。每个token的生成步骤都依赖于前一个token。当使用张量并行（将单层计算拆分到多个设备）或流水线并行（将不同层拆分到多个设备）将推理分布到多个节点时，每一次前向传播都需要多次all-reduce或点对点通信。在配备InfiniBand（延迟1-10微秒）的专用集群上，这尚可管理。但在开放互联网上，节点间的往返时间（RTT）可能从10毫秒到超过500毫秒不等，而抖动（延迟的标准差）往往超过均值的50%。
以70B参数模型为例，使用4节点张量并行。每个Transformer层需要两次all-reduce操作（一次用于注意力机制，一次用于前馈网络）。80层意味着每个token需要160次all-reduce。如果每次all-reduce增加20毫秒的网络延迟（对于跨洲链路已属乐观估计），那么每个token的总延迟将超过3.2秒——这对于交互式应用完全不可接受。落后节点效应（straggler effect）会进一步放大问题：一个慢节点迫使所有其他节点等待，而在开放互联网上，最慢的节点往往比中位数节点慢一个数量级。
带宽不对称
家庭互联网连接本质上是非对称的。典型的FTTH（光纤到户）提供1 Gbps下行，但上行仅50-100 Mbps。有线电视网络更差：200 Mbps下行，10-20 Mbps上行。对于分布式推理，上行带宽是关键路径，因为节点必须向对等节点发送激活值和梯度。对于70B模型，隐藏维度为4096，使用FP16精度，单个Transformer层的隐藏状态大小为每个token 8 KB。80层、4节点的情况下，每个节点每个token需要上传约160 KB。以50 Mbps上行带宽计算，仅数据传输就需要25毫秒——这还不包括任何计算或同步开销。
| 网络类型 | 下行速度 | 上行速度 | 延迟（RTT） | 每层每token延迟（4节点） |
|---|---|---|---|---|
| 专用集群（InfiniBand） | 200 Gbps | 200 Gbps | 1 μs | 0.1 ms |
| 家庭光纤 | 1 Gbps | 100 Mbps | 10 ms | 25 ms |
| 家庭有线电视 | 200 Mbps | 20 Mbps | 20 ms | 80 ms |
| 移动5G | 100 Mbps | 20 Mbps | 30 ms | 100 ms |
数据要点： 专用基础设施与家庭互联网之间，每个token的延迟差距高达250倍到1000倍，这使得在开放互联网上进行实时分布式推理对交互式应用而言完全不切实际。
信任验证开销
在去中心化网络中，如何确保远程节点确实正确执行了矩阵乘法？朴素的方法——在多个节点上冗余执行——会使计算成本翻倍或三倍。zk-SNARKs或zk-STARKs等密码学方法可以证明正确执行，但为单个Transformer层生成证明目前需要GPU运行数分钟，远超实际计算所需的毫秒级时间。乐观验证（随机抽查部分节点）降低了开销，但引入了概率性保证，不适用于安全关键型应用。Petals项目通过使用信誉系统和冗余来规避这个问题，但这仅适用于小型、可信的网络。
值得关注的GitHub仓库：
- Petals (github.com/bigscience-workshop/petals)：一个去中心化平台，用于在志愿者节点上运行BLOOM等LLM。采用流水线并行并具备容错能力。4.5k星。近期工作聚焦于改进落后节点处理。
- Hivemind (github.com/learning-at-home/hivemind)：Petals所使用的底层去中心化深度学习库。实现了去中心化平均和容错all-reduce。2.1k星。
- FlexGen (github.com/FMInference/FlexGen)：专注于将模型卸载到CPU/NVMe进行单节点推理，但其调度见解同样适用于分布式场景。1.8k星。
关键参与者与案例研究
Petals（BigScience Workshop）
开放互联网分布式推理最著名的尝试。Petals允许用户贡献GPU算力来服务176B参数的BLOOM模型。在实践中，它在理想情况下为单个用户实现每秒1-2个token的生成速度——远低于实时聊天所需的每秒50+ token。项目自身的基准测试表明，节点数超过4个后，通信开销会导致吞吐量下降。
Together AI 与 Fireworks AI
这些公司也运营分布式推理，但使用的是受控的高带宽基础设施（配备RDMA的专用数据中心）。它们通过专有调度和模型并行优化实现了有竞争力的延迟，但它们并非开放互联网——它们是私有集群。