技术深度解析
NV-Raw2Insights-US从根本上重新思考了超声信号链。传统超声成像是一个多阶段过程:换能器发射声脉冲;返回的回声(原始RF数据)被数字化;波束形成算法通过假设均匀声速并应用延迟求和操作来重建B模式图像;然后后处理(增益、动态范围压缩、散斑抑制)生成最终的视觉图像。这一流程丢弃了原始RF信号中蕴含的大量信息——相位关系、频率依赖的衰减以及非线性散射。
NV-Raw2Insights-US架构用一个端到端神经网络取代了这一切,该网络直接对原始RF时间序列数据进行操作。该网络是一个混合模型,结合了卷积编码器-解码器与嵌入在潜在空间中的可微分物理模拟器。关键架构组件包括:
1. 物理信息损失函数:训练目标包含一个项,强制网络的输出在给定测量边界条件的情况下满足声波波动方程(一个二阶偏微分方程)。这是通过使用自动微分计算PDE残差来实现的,从而惩罚物理上不合理的重建。这在概念上类似于由Raissi等人推广的物理信息神经网络框架,但应用于高维、实时的逆问题。
2. 自适应组织参数化:网络包含一个小型、快速的子网络,用于分析原始RF信号的频谱内容和统计矩(例如,与组织散射体密度相关的Nakagami分布参数)。该子网络输出一组“组织先验”——声速、衰减系数和后向散射截面的估计值——这些作为条件输入被馈送到主重建解码器。这使得解码器能够根据其成像的是均匀的液性囊肿、纤维肌肉还是钙化骨表面,动态调整其滤波器和激活函数。
3. 实时推理管线:该系统在NVIDIA的Clara AGX平台上实现,利用TensorRT进行优化推理。对于128通道、1024样本的RF帧,从原始RF输入到诊断输出的端到端延迟低于30毫秒,从而支持实时视频级处理(30+ fps)。这对于连续监测应用至关重要。
| 基准测试 | 传统波束形成 | NV-Raw2Insights-US | 提升幅度 |
|---|---|---|---|
| 脂肪肝体模中的对比噪声比 | 1.8 dB | 3.4 dB | +89% |
| 5 cm深度处的轴向分辨率 | 0.8 mm | 0.4 mm | 2倍 |
| 病变检测灵敏度(体内,n=150) | 71% | 93% | +22% |
| 操作者间变异性(Dice系数) | 0.62 | 0.88 | +42% |
| 每帧推理延迟 | 45 ms(GPU波束形成器) | 28 ms | -38% |
数据要点: 物理信息方法在图像质量指标(CNR、分辨率)和临床实用性(病变检测、操作者一致性)方面均带来了显著提升。其延迟足够低,可支持实时使用,这是临床采纳的关键要求。
一个相关的开源项目是`deep-ultrasound`仓库(目前在GitHub上拥有1200+星标),它提供了一个基于PyTorch的框架,用于模拟超声RF数据并训练深度学习模型。虽然它尚未纳入物理信息损失,但它为希望复制或扩展此项工作的研究人员提供了一个坚实的起点。
关键参与者与案例研究
NV-Raw2Insights-US的开发归功于NVIDIA医学AI研究部门由Elena Vasquez博士领导的团队,并与梅奥诊所和剑桥大学的临床合作伙伴合作。Vasquez博士先前在用于地震成像的物理信息神经网络方面的工作(发表于NeurIPS 2022)提供了理论基础。该项目利用NVIDIA的Clara平台进行部署,并使用MONAI框架进行医学影像AI。
来自多个方面的竞争方法正在涌现:
- Butterfly Network(Butterfly iQ+):使用单晶超声芯片,并依赖基于云的深度学习进行图像增强,但处理的仍然是重建后的B模式图像,而非原始RF数据。他们的方法改善了图像质量,但并未从根本上解决波束形成步骤中固有的信息丢失问题。
- GE HealthCare(Vscan Air):专注于无线、口袋大小的设备,配备AI辅助引导和自动测量。他们的AI模型作用于最终图像,而非原始信号,并且不能实时适应组织特性。
- Samsung Medison(SonoSync):提供基于AI的扫描平面识别和自动测量,但同样作用于重建图像。
- 初创公司:DeepSono(隐身模式,已融资1500万美元):据报道正在开发一种直接处理原始RF数据的端到端方法,但尚未公开其物理信息约束的细节。他们的早期数据在肝脏纤维化分级方面显示出有希望的结果,但尚未达到NV-Raw2Insights-US所展示的实时性能。