技术深度解析
动态批处理并非单一算法，而是一系列管理Transformer注意力机制以实现连续请求流的技术家族。其核心洞察在于：在自回归生成中，每个请求按顺序生成token，而注意力计算是主要成本。传统批处理会等待批次中所有请求完成生成后，再启动下一批次，形成“走走停停”的模式。相比之下，动态批处理维护一个持续的计算图，新请求可随时插入，已完成请求可随时移除，而无需重置整个流水线。
架构概览：
在实现层面，动态批处理需要精细管理键值（KV）缓存。Transformer解码器中的每个请求都维护自己的KV缓存，该缓存随token生成而增长。在动态批次中，系统维护一个“批次状态”，追踪哪些请求处于活跃状态、它们当前的token位置以及对应的KV缓存条目。当新请求到达时，系统在KV缓存中分配空间，并开始处理其第一个token。当请求完成（例如生成结束符token）时，其KV缓存被释放，批次大小随之缩小。
关键工程挑战：
1. 内存管理： KV缓存是主要的内存瓶颈。对于一个70亿参数、上下文长度为4096的模型，每个请求的KV缓存可能消耗约1-2 GB的GPU内存。动态批处理必须高效地分配和释放这些缓存，同时避免碎片化。解决方案包括预分配内存池和分页注意力（PagedAttention），后者将KV缓存存储在非连续块中。
2. 调度策略： 调度器决定何时添加新请求、何时驱逐已完成请求，以及如何在待处理请求之间进行优先级排序。常见策略包括：
- 先来先服务（FCFS）： 简单但可能导致队头阻塞。
- 最短作业优先（SJF）： 优先处理生成token数较少的请求，降低平均延迟。
- 有界延迟： 为每个请求强制执行最大等待时间，即使批次不理想也将其插入。
3. 注意力掩码： 在动态批次中，每个请求的序列长度不同。注意力计算必须屏蔽其他请求的token，以防止交叉污染。通常通过块稀疏注意力掩码实现，或者将所有序列填充到相同长度（浪费资源），或者使用可变长度注意力内核。
开源实现：
多个开源项目已实现动态批处理：
| 项目 | Star数 | 关键特性 |
|---|---|---|
| vLLM | ~40k | PagedAttention，连续批处理，支持大多数开源模型 |
| TensorRT-LLM | ~10k | NVIDIA的推理框架，支持动态批处理与飞行中批处理 |
| TGI (Text Generation Inference) | ~15k | Hugging Face的解决方案，支持动态批处理和张量并行 |
| LightLLM | ~3k | 基于Python，专注于低开销的动态批处理 |
数据洞察： vLLM的PagedAttention是应用最广泛的动态批处理实现，表明内存高效的KV缓存管理是关键推动因素。Star数量反映了社区对此方法的认可。
基准测试数据：
| 系统 | 模型 | 批次大小 | 吞吐量 (请求/秒) | 延迟P50 (毫秒) | GPU利用率 |
|---|---|---|---|---|---|
| 静态批处理 | Llama-2-7B | 32 | 45 | 220 | 35% |
| vLLM (动态) | Llama-2-7B | 动态 | 120 | 85 | 78% |
| TensorRT-LLM | Llama-2-7B | 动态 | 135 | 72 | 82% |
| TGI | Llama-2-7B | 动态 | 100 | 95 | 75% |
数据洞察： 与静态批处理相比，动态批处理实现了2-3倍的吞吐量提升和2-3倍的延迟降低，同时GPU利用率几乎翻倍。TensorRT-LLM凭借其优化的CUDA内核在原始性能上领先，但vLLM提供了更好的灵活性和社区支持。
关键玩家与案例研究
vLLM (UC Berkeley)： 最具影响力的开源动态批处理系统，由加州大学伯克利分校的Kwon等人开发。其PagedAttention算法受操作系统虚拟内存分页启发，将KV缓存划分为固定大小的块，可非连续存储。这消除了内存碎片化，实现了接近100%的内存利用率。vLLM已被多家主要AI公司采用，包括OpenAI（用于内部工具）、Anthropic以及众多初创公司。
NVIDIA TensorRT-LLM： NVIDIA的生产级推理框架，包含“飞行中批处理”（in-flight batching）——即其动态批处理术语。TensorRT-LLM通过使用自定义CUDA内核和融合操作实现了最高的原始吞吐量。它是运行在NVIDIA硬件上的企业的默认选择，但其闭源性质限制了定制化。
Hugging Face TGI： Hugging Face的Text Generation Inference（TGI）以易用性为设计目标，与th