技术深度解析
核心创新在于将关注点分离到三个不同的微服务中：分类服务、OCR服务和LLM提取服务。每个服务都进行容器化（Docker, Kubernetes），拥有自己的API网关、数据库和扩缩容策略。
分类服务： 这个轻量级服务（通常是DistilBERT或小型CNN模型，约6000万参数）首先运行。它将传入的文档分类为不同类型（发票、合同、医疗表格等），并分配一个置信度分数。低于阈值（例如0.7）的文档会被路由到人工审核队列，防止垃圾进垃圾出。仅此预过滤步骤，在典型的企业工作负载中就能将LLM推理成本降低40-60%，因为只有高置信度、相关的文档才会进入昂贵的提取阶段。
OCR服务： 该服务处理图像到文本的转换。它将特定的OCR引擎（Tesseract, Google Cloud Vision, Azure Form Recognizer或自定义模型）抽象在统一接口之后。该架构支持热替换：团队可以在同一批文档上运行A/B测试，比较Tesseract 5.x与微调后的TrOCR模型（来自Hugging Face，约3亿参数）。该服务还包括预处理步骤，如去偏斜、二值化和布局分析（使用Detectron2或LayoutLMv3）。一个关键的工程选择是在服务之间使用异步消息队列（RabbitMQ或Apache Kafka），允许OCR服务批量处理图像，同时分类器继续处理新请求。
LLM提取服务： 这是资源最密集的组件。它接收OCR文本，并使用提示链提取结构化字段。该架构支持多个LLM后端：GPT-4o, Claude 3.5，或开源模型如Llama 3.1 70B或Qwen2.5 72B。一个提示注册表为每种文档类型存储版本化的提示，支持快速迭代。该服务实现了带指数退避的重试逻辑和回退到较小模型（例如Mistral 7B）以处理简单字段，从而降低延迟和成本。提取结果会根据模式约束（正则表达式、数据类型检查）和置信度阈值进行验证；低置信度的提取结果会被标记以供人工审核。
基准性能数据：
| 指标 | 单体流水线 | 微服务流水线 | 改进幅度 |
|---|---|---|---|
| 吞吐量（文档/分钟） | 42 | 135 | 3.2倍 |
| P99延迟（秒） | 18.2 | 6.8 | 减少2.7倍 |
| 系统正常运行时间（30天） | 94.2% | 99.7% | +5.5% |
| 每万份文档成本 | $1,240 | $780 | 降低37% |
| 模型更新时间 | 4小时（完全重新部署） | 12分钟（热替换） | 快20倍 |
数据要点： 微服务架构在所有关键生产指标上都带来了显著改进。37%的成本降低尤其重要——这得益于分类器的预过滤以及为简单情况使用更便宜模型的能力。20倍的模型更新时间使得无需停机即可持续改进。
相关开源仓库：
- Tesseract OCR (github.com/tesseract-ocr/tesseract): 经典的开源OCR引擎，现在采用基于LSTM的识别。65k+星标。常被用作基线。
- TrOCR (github.com/microsoft/unilm/tree/master/trocr): 微软基于Transformer的OCR模型，可针对特定文档类型进行微调。10k+星标。
- LayoutLMv3 (github.com/microsoft/unilm/tree/master/layoutlmv3): 用于文档理解的多模态模型，结合了文本、布局和图像特征。8k+星标。
- Ray (github.com/ray-project/ray): 分布式计算框架，用于跨GPU扩展LLM推理。35k+星标。
- Kubeflow (github.com/kubeflow/kubeflow): 机器学习工作流平台，用于在Kubernetes上编排流水线。14k+星标。
关键参与者与案例研究
这种微服务方法正由成熟的AI基础设施公司和专门的文档AI初创公司共同开创。
Hugging Face 一直是关键推动者，它提供了模型中心和推理端点，使团队能够通过API交换OCR和LLM模型。其`text-generation-inference`（TGI）和`text-embeddings-inference`（TEI）库被广泛用于OCR和分类服务。Hugging Face的Spaces平台也用于单个流水线阶段的快速原型设计。
微软 通过Azure AI Document Intelligence（前身为Form Recognizer）成为主要参与者。其针对发票、收据和身份证件的预构建模型常被用作OCR服务后端。然而，微服务架构允许团队将Azure的OCR与不同的LLM结合用于提取，从而避免供应商锁定。微软自身在LayoutLM和TrOCR上的研究直接为OCR服务能力提供了支持。
Anthropic 和 OpenAI 竞争成为LLM后端。提取服务通常使用GPT-4o或Claude 3.5 Sonnet处理复杂字段，但该架构也支持开源模型，以降低成本和避免依赖。