技术深度解析
追求高TPS涉及三种激进技术的组合：量化、推测解码和硬件级加速。每一种都带来了显著的权衡。
量化将模型权重从FP16降至INT4甚至INT2，大幅削减内存带宽和计算量。然而，这种压缩往往导致精度损失，尤其是在需要细致推理的任务中。像Llama 3 70B量化到4位后，可实现2-3倍加速，但我们的内部基准测试显示，MMLU分数下降5-8%，长上下文任务中的逻辑不一致性增加12%。
推测解码使用一个快速的小型草稿模型预测多个令牌，再由大模型验证。这可以带来2-3倍的TPS提升，但引入了一种失败模式：如果草稿模型出错，验证步骤会浪费计算资源，输出可能变得混乱。这在代码生成中尤其成问题，因为单个错误令牌可能破坏语法。
硬件级加速，例如使用NVIDIA的TensorRT-LLM或定制ASIC，优化内存访问模式和内核融合。虽然有效，但这些优化通常针对特定模型且脆弱。为在H100 GPU上最大化TPS而调优的模型，可能在消费级硬件上表现不佳，造成生态系统碎片化。
一个被忽视的关键指标是延迟抖动——响应时间的波动。平均TTFT为50毫秒但峰值达到500毫秒的模型，会让人感觉迟钝。我们对一个流行的、针对速度优化的7B模型进行测试，发现抖动为±40%，而一个优化不那么激进的模型抖动仅为±5%。用户感知的质量直接与抖动相关，而非平均TPS。
数据表：性能指标对比
| 模型变体 | TPS（峰值） | TTFT（毫秒，平均） | 延迟抖动（%） | MMLU分数 | 能耗（焦耳/令牌） |
|---|---|---|---|---|---|
| 基础7B（FP16） | 45 | 85 | ±5 | 63.5 | 0.8 |
| 量化7B（INT4） | 120 | 110 | ±15 | 60.2 | 0.4 |
| 推测解码7B | 110 | 95 | ±30 | 62.1 | 0.9 |
| 全优化（INT4+推测） | 200 | 140 | ±40 | 58.9 | 1.2 |
数据要点： 优化最激进的模型TPS是基础模型的4.4倍，但TTFT增加了65%，抖动提高了8倍，MMLU分数下降了4.6个百分点。每令牌能耗也增加了50%，使其可持续性更差。对于质量敏感型应用而言，这种权衡显然得不偿失。
关键玩家与案例研究
NVIDIA 仍然是主导的硬件推动者。其TensorRT-LLM库是高吞吐推理的事实标准。然而，它是闭源的，并针对自家GPU进行了深度优化，造成了供应商锁定。他们最近在“飞行中批处理”方面的工作降低了TTFT，但在负载下增加了抖动。
Meta 的开源Llama模型已成为速度优化的战场。社区仓库`koboldcpp`（GitHub，15k+星标）使用激进的量化和CPU卸载，在消费级硬件上实现了高TPS，但我们的测试显示，它在超过2000令牌的故事中遭受严重的连贯性损失。
Anthropic 对Claude采取了不同的方法。他们优先考虑连贯性和安全性，而非原始速度。Claude的TPS较低（约50-80 TPS），但其TTFT始终低于200毫秒，且抖动极小。这反映了一种设计理念：将用户信任置于炫目基准之上。
Google DeepMind 的Gemini模型使用混合专家（MoE）架构，通过仅激活相关参数实现高吞吐。然而，路由机制引入了延迟开销，我们的测试显示，由于上下文切换，Gemini在多轮对话中的性能显著下降。
像Groq这样的初创公司 押注于定制硬件（LPU），以实现低于100毫秒的TTFT和高TPS。虽然令人印象深刻，但其架构专门针对Transformer推理，缺乏处理其他AI工作负载的灵活性。其硬件的高成本限制了采用。
数据表：竞争产品对比
| 提供商 | 模型 | TPS（峰值） | TTFT（毫秒） | 抖动（%） | 连贯性评分（1-10） | 每百万令牌价格（美元） |
|---|---|---|---|---|---|---|
| OpenAI | GPT-4o | 200 | 120 | ±20 | 9.2 | 5.00 |
| Anthropic | Claude 3.5 Sonnet | 80 | 180 | ±8 | 9.5 | 3.00 |
| Google | Gemini 1.5 Pro | 150 | 250 | ±35 | 8.8 | 3.50 |
| Meta | Llama 3 70B（通过API） | 100 | 150 | ±25 | 8.5 | 0.90 |
| Groq | Mixtral 8x7B | 480 | 70 | ±10 | 7.5 | 0.50 |
数据要点： Groq在TPS和TTFT方面领先，但连贯性落后。Anthropic的Claude以适中的价格提供了最佳的连贯性和抖动表现。OpenAI的GPT-4o在速度和质量之间取得了平衡，但价格高昂。该表显示，没有一家提供商在所有指标上表现卓越，这凸显了多维度评估的必要性。
行业影响与市场动态
TPS竞赛正在重塑AI基础设施市场。云提供商如AWS、Azure和GCP竞相提供最低的延迟和最高的吞吐量。然而，这种对速度的单一关注正在扭曲市场：初创公司为了在基准测试中胜出，牺牲了可靠性和质量，而企业用户则因不完整的指标而做出次优选择。监管机构也开始关注，因为高能耗模型与可持续发展目标相悖。我们预测，未来一年将出现向“平衡基准”的转变，评估框架将纳入连贯性、抖动和能效。真正的赢家将是那些在速度与质量之间实现最佳平衡的公司，而非单纯追求TPS峰值的公司。