技术深度解析
该研究基于Miller金字塔构建了一个五级能力框架：Knows（事实回忆）、Knows How（解释与说明）、Shows How（在受控环境中展示）、Does（在真实实践中独立执行），以及新增的第五级Teaches（指导他人的能力）。每一级都对LLM提出了截然不同的架构要求。
在Knows层面，标准自回归Transformer表现出色。它们在海量医学语料库上训练——包括PubMed论文、教科书、临床指南——能够以高精度检索事实。在MedQA（USMLE Step 1）和MedMCQA等基准测试中，GPT-4和Claude 3.5达到了86-90%的准确率，与顶尖医学生不相上下。这本质上是一个模式匹配任务：模型在训练中已经见过该问题或其近似变体。
在Knows How层面，任务转向了解释。模型不仅要给出答案，还要证明其推理过程。思维链（CoT）提示和检索增强生成（RAG）在此层面提升了性能。例如，使用包含UpToDate内容的向量数据库的RAG流水线，可以将MedQA解释子集上的解释质量评分提升15-20%。然而，模型的推理仍然是线性的，缺乏权衡竞争假设的能力。
悬崖出现在Shows How层面。这一层面涉及模拟临床场景——例如，一个虚拟患者出现胸痛，模型必须安排检查、解读结果并实时调整诊断。当前的LLM在多轮、上下文依赖的推理中挣扎。它们存在“诊断锚定”问题——固守初始假设，在出现新的矛盾数据时无法修正。一项2024年使用Clinical Encounter Simulator（CES）基准的研究发现，GPT-4在收到矛盾的化验结果后，仅有23%的情况下改变了诊断，而人类住院医师的这一比例为71%。
在Does层面，模型必须整合多模态数据流：文本（病史）、时间序列（生命体征）、图像（X光片、CT扫描）和结构化数据（化验值）。目前没有LLM能够原生处理这种融合。虽然GPT-4V等多模态模型可以处理图像，但它们独立对待每种模态，缺乏统一的时间推理引擎。例如，模型可能正确识别出胸部X光片上的肺炎，但无法将其与白细胞计数升高和血压下降趋势关联起来——这种组合提示脓毒症。这需要当前Transformer架构所缺乏的循环或状态空间模型组件。
相关开源工作： MedPrompt仓库（5.2k星）探索了临床推理的提示工程，但尚未解决多轮问题。ClinicalBERT（3.8k星）为时间序列建模提供了基础，但并非为生成任务设计。BioGPT（微软，4.1k星）在生物医学文本生成方面表现出色，但缺乏多模态集成。最有前景的方向是Med-PaLM 2（Google），它使用一个专家模型集成——一个处理文本，一个处理影像，一个处理结构化数据——并通过一个门控网络融合输出。然而，这种架构是专有的且计算成本高昂。
| 模型 | Knows (MedQA) | Knows How (解释评分) | Shows How (CES准确率) | Does (多模态集成) |
|---|---|---|---|---|
| GPT-4 | 90.2% | 82.1% | 23.4% | 未评估 |
| Claude 3.5 Sonnet | 88.7% | 79.5% | 19.8% | 未评估 |
| Med-PaLM 2 | 86.5% | 80.3% | 31.2% | 12.7% (模拟) |
| GPT-4V | 89.1% | 81.0% | 22.1% | 9.4% (模拟) |
数据要点： “Shows How”和“Does”两列揭示了灾难性的下降。即使是最好的模型（Med-PaLM 2）在模拟临床场景中也仅达到31.2%，远低于三年级医学生被认为具备最低能力所需的70%阈值。多模态的“Does”层面基本上尚未解决。
关键玩家与案例研究
多家公司正竞相弥合“Shows How”和“Does”之间的差距，各自采取了不同的策略。
Hippocratic AI构建了一个“安全优先”的LLM，在临床模拟数据上进行了微调。其方法使用一个“监督模型”来监控主LLM的输出，并标记不安全或不一致的决策。在2024年与一家大型医院网络的试点中，与单独使用GPT-4相比，他们的系统在模拟脓毒症病例中将诊断错误减少了34%。然而，监督模型增加了延迟（每次查询平均2.3秒）和成本（推理成本增加3倍）。
Abridge专注于“Does”层面，将LLM作为临床工作流中的抄写和决策支持工具进行集成。他们的模型在医院基础设施上本地运行，实时处理患者就诊过程。关键创新在于“闭环”设计：模型不做出自主决策，而是生成结构化的摘要和鉴别诊断，必须由医生批准。
（注：原文末尾“Th”为截断，译文按现有内容完整呈现。）