技术深度解析
复合AI系统背后的核心洞察是：没有单一模型能胜任所有任务。该指南围绕一个中央编排器（通常是轻量级LLM或确定性规则引擎）勾勒出参考架构，该编排器管理着一个由专业化组件构成的有向无环图（DAG）。
架构组件：
- 路由器/编排器： 一个小型、快速的模型（例如GPT-4o-mini、Claude Haiku或微调后的Llama 3.2 8B），负责对输入任务进行分类，并将其路由到相应的子流水线。每次分类的成本可低至0.0001美元。
- 专家智能体： 每个子任务都有其专属模型。对于代码生成，使用DeepSeek-Coder或CodeGemma等模型；对于检索，使用配备Qdrant或Weaviate等向量数据库的专用RAG流水线；对于结构化数据提取，则使用较小的微调模型。
- 工具执行层： 沙盒化环境（例如Docker容器、E2B或Pyodide），用于运行代码、查询API或执行SQL。指南推荐使用开源仓库`e2b-dev/code-interpreter`（14k+星标）进行安全的代码执行。
- 人在回路（HITL）节点： 在置信度阈值较低的关键决策点，系统会暂停并将任务升级给人工审核员，通常通过Slack或自定义仪表板集成实现。
- 可观测性栈： 每个组件都会发出结构化日志和追踪信息。指南推荐使用兼容OpenTelemetry的工具，如Langfuse或Arize AI，并特别指出开源仓库`langfuse/langfuse`（12k+星标）可用于追踪LLM调用和工具使用情况。
基准性能： 该指南包含一份对比：在常见的企任务——处理一个需要意图分类、数据库查询、策略检查和回复生成的客服工单——中，单体GPT-4o智能体与复合系统的表现对比如下。
| 指标 | 单体GPT-4o智能体 | 复合系统（GPT-4o-mini + 代码解释器 + 人工审核） |
|---|---|---|
| 端到端准确率 | 72.3% | 94.1% |
| 平均延迟 | 12.4秒 | 8.1秒 |
| 每任务成本 | 0.087美元 | 0.021美元 |
| 可调试故障率 | 18% | 89% |
数据要点： 复合系统不仅将准确率提升了22个百分点，还将成本降低了76%，延迟降低了35%。可调试性从18%大幅提升至89%，是生产部署的关键推动因素，因为团队现在能够识别并修复故障模式。
算法创新： 该指南引入了一种新颖的“置信度加权委派”算法。每个专家模型在输出结果的同时，还会输出一个置信度分数（0-1）。如果该分数低于可配置的阈值（例如0.85），编排器要么将任务路由到能力更强的模型，要么触发人工审核。这种动态路由机制在保持高准确率的同时，防止了对前沿模型代价高昂的过度依赖。
关键参与者与案例研究
已有数家公司采用了这一架构并分享了成果。该指南收录了详细的案例研究：
案例研究1：Intercom（客户支持）
Intercom的Fin AI智能体从单一LLM重新设计为复合系统。他们使用轻量级分类器（微调后的DistilBERT）进行意图检测，使用专用RAG流水线进行知识库检索，并且仅在处理复杂的多轮对话时才调用GPT-4。结果：幻觉率降低40%，成本节省55%，首次联系解决率提升22%。
案例研究2：GitHub Copilot（代码生成）
虽然指南未明确提及，但其模式显而易见。Copilot使用轻量级模型处理简单的自动补全，使用更强大的模型处理复杂的代码生成，并以代码分析工具（linter）作为验证步骤。正是这种分层方法，使得Copilot能够每天处理数百万个请求，并保持高可靠性。
案例研究3：某领先电商平台（欺诈检测）
该平台使用复合系统进行交易审查。一个快速的规则引擎标记明显欺诈，一个小型LLM分析交易描述，只有边缘案例才会升级给人工审核员。该系统每小时处理20万笔交易，准确率高达99.6%。
编排框架对比：
| 框架 | 开源 | 关键特性 | GitHub星标 | 最适合 |
|---|---|---|---|---|
| LangGraph | 是 | 有状态图编排 | 15k+ | 复杂多智能体工作流 |
| CrewAI | 是 | 基于角色的智能体协作 | 25k+ | 简单任务委派 |
| AutoGen (Microsoft) | 是 | 多智能体对话 | 35k+ | 研究与原型设计 |
| Semantic Kernel | 是 | 与Azure的企业级集成 | 22k+ | .NET和企业环境 |
| Dify | 是 | 可视化工作流构建器 | 50k+ | 非技术团队 |
数据要点： 开源生态系统正在迅速成熟。LangGraph和CrewAI在生产使用中最受欢迎，而Dify的可视化构建器正在降低准入门槛。