技术深度解析
核心创新在于将医疗诊断重新定义为部分可观测马尔可夫决策过程（POMDP）。在这种形式化中，模型（智能体）在初始阶段无法获取完整的患者状态。相反，它必须基于当前的信念状态选择动作——要么提问（例如“您发烧吗？”），要么做出最终诊断。信念状态是对可能疾病的概率分布，每次观测后通过贝叶斯推理进行更新。
强化学习用于优化策略：一个将信念状态映射到动作的神经网络。奖励函数至关重要：它为正确诊断分配高额正奖励，为错误诊断分配负奖励，并为每个提问分配一个小的负成本。这激励模型只提出最具信息量的问题，并在足够确信时立即停止。
一个值得注意的实现来自开源项目 med-rl-diagnosis（GitHub，约2300星），该项目使用PPO（近端策略优化）算法，在源自MIMIC-III临床数据库的模拟患者数据集上训练Llama-3-8B骨干网络。该模型学会询问关于症状、实验室检查和病史的问题。其架构包含一个独立的“信念更新器”模块，用于处理每个新观测并更新内部疾病概率向量。
| 模型 | 诊断准确率 | 平均提问数 | 平均奖励（成本） |
|---|---|---|---|
| GPT-4（零样本，无RL） | 72.3% | 不适用（被动） | -0.72 |
| GPT-4（思维链） | 76.1% | 不适用（被动） | -0.76 |
| Llama-3-8B（RL训练） | 88.5% | 4.2 | +0.63 |
| Med-PaLM 2（RL微调） | 91.2% | 3.8 | +0.71 |
数据要点： RL训练的模型不仅实现了显著更高的准确率，而且仅通过少量、有针对性的提问就达成了这一目标。被动模型尽管规模庞大，却无法适应信息缺失的情况，因此在现实诊断场景中表现不佳。
另一个关键的工程细节是使用“问题库”——一组精心策划的约500个问题，涵盖症状、风险因素和实验室检查。RL智能体从该库中选择问题，这限制了动作空间并提高了训练稳定性。斯坦福大学和Google DeepMind的研究人员尝试使用辅助LLM动态生成问题，但这增加了延迟和潜在的幻觉风险。
训练流程包括两个阶段：首先，在医患对话记录上进行监督微调，以教会模型基本的提问模式；其次，在模拟环境中进行RL训练，其中“患者模拟器”（另一个LLM或基于规则的系统）对问题做出响应。患者模拟器可以配置为具有不同程度的合作性和症状模糊性，从而使智能体能够应对现实世界的变异性。
关键参与者与案例研究
多个研究团队和公司正在积极推动这一范式。Google DeepMind 发表了关于“通过强化学习进行诊断推理”（DRRL）的研究，使用了针对医疗领域调整的MuZero变体。他们的模型在包含120万次模拟患者就诊的专有数据集上训练，在罕见疾病的保留测试集上达到了93%的准确率。DeepMind的方法使用学习到的世界模型来模拟患者响应，从而减少了对真实临床数据的需求。
斯坦福大学AIMI实验室（人工智能在医学与影像中的应用）开发了一个名为“MedAgent”的开源框架，允许研究人员接入不同的LLM骨干网络和RL算法。他们最近的论文表明，一个使用MedAgent训练的7B参数模型，在诊断推理基准测试（DxBench）上比70B参数的GPT-4高出12个百分点，同时使用的token数减少60%。
在商业方面，Babylon Health（现为eMed的一部分）已将其基于RL的分诊系统集成到远程医疗平台中。该系统根据患者之前的回答动态调整提问序列，将平均咨询时间缩短了35%，同时保持了98%的患者安全记录。总部位于柏林的初创公司Ada Health采用了类似的方法，但使用了混合规则与神经架构，声称对常见疾病的诊断准确率达到95%。
| 产品 | 方法 | 准确率（常见疾病） | 准确率（罕见疾病） | 平均提问数 |
|---|---|---|---|---|
| Babylon RL分诊 | Llama-3上的PPO | 94% | 78% | 5.1 |
| Ada Health | 混合规则+神经网络 | 95% | 72% | 7.3 |
| MedAgent（斯坦福） | Mistral-7B上的PPO | 92% | 81% | 4.8 |
| DRRL（DeepMind） | MuZero变体 | 93% | 85% | 4.1 |
数据要点： DeepMind的DRRL在罕见疾病准确率方面领先，这很可能归功于其学习到的世界模型，该模型能够模拟多样化的症状表现。Ada的混合方法在常见疾病方面具有竞争力，但在边缘案例上表现不佳。