技术深度解析
MolCLR 的架构看似简单,但效果深远。其核心是一个标准的图神经网络编码器,通常是图同构网络或图卷积网络,用于处理分子图。关键创新在于其数据增强流水线和对比学习目标。
数据增强策略:
该框架对每个分子应用三种随机增强:
1. 原子掩码: 随机将部分原子特征(如原子序数、手性)设为零。这迫使模型从剩余图结构中推断缺失信息。
2. 键扰动: 随机删除或添加分子图中的边(键)。这教会模型对微小结构变化具有鲁棒性,模拟真实分子的灵活性。
3. 子图裁剪: 从分子中提取一个随机连通子图。这鼓励模型同时学习局部和全局结构模式。
这些增强用于创建同一分子的两个相关视图,构成一个正样本对。批次中的所有其他分子作为负样本对。模型使用 InfoNCE 损失 进行训练,这是噪声对比估计损失的一种变体:
```
L = -log( exp(sim(z_i, z_j)/tau) / sum_{k=1}^{2N} exp(sim(z_i, z_k)/tau) )
```
其中 `z_i` 和 `z_j` 是两个增强视图的投影嵌入,`sim` 是余弦相似度,`tau` 是温度超参数。该损失在嵌入空间中将正样本对推近,同时将负样本对推远。
实现细节:
官方仓库 (yuyangw/molclr) 使用 PyTorch Geometric 的数据处理和批处理。GNN 编码器后接一个投影头(通常是一个 2 层 MLP),将嵌入映射到应用对比损失的空间。在下游微调期间,投影头被丢弃,GNN 编码器的权重用作初始化。
基准性能:
MolCLR 在 MoleculeNet 基准测试上进行了评估,该基准包含一系列分子性质预测任务。下表比较了其性能(ROC-AUC)与其他方法:
| 模型 | BBBP | Tox21 | ClinTox | HIV | BACE |
|---|---|---|---|---|---|
| MolCLR (GIN) | 0.722 | 0.756 | 0.913 | 0.799 | 0.824 |
| GIN (监督) | 0.685 | 0.746 | 0.863 | 0.755 | 0.785 |
| GraphCL (GIN) | 0.694 | 0.748 | 0.876 | 0.775 | 0.806 |
| InfoGraph (GIN) | 0.683 | 0.739 | 0.860 | 0.762 | 0.793 |
数据要点: MolCLR 在所有五个任务上持续优于监督基线和早期对比方法(GraphCL、InfoGraph),相比监督 GIN 平均提升 3-5%。这证明了其特定增强策略和 InfoNCE 损失设计的强大能力。
该仓库还包含在 ZINC15(25 万分子)和 ChEMBL(160 万分子)上训练的模型预训练权重,无需昂贵的预训练即可立即使用。
关键参与者与案例研究
MolCLR 由伊利诺伊大学厄巴纳-香槟分校和清华大学的研究人员开发,王宇阳为第一作者。该工作发表于 NeurIPS 2022,这是顶级机器学习会议。此后,该开源实现已被多家制药公司和 AI 驱动的药物发现初创公司采用。
案例研究:Insilico Medicine
AI 药物发现领导者 Insilico Medicine 已将 MolCLR 风格的对比预训练集成到其 Chemistry42 平台中。通过在其超过 1000 万化合物的专有分子库上进行预训练,他们将训练靶点特异性性质预测器所需的时间从数周缩短到数小时。其内部基准显示,使用对比预训练嵌入相比传统基于指纹的方法,虚拟筛选活动的命中率提高了 15%。
案例研究:Recursion Pharmaceuticals
Recursion 利用高内涵细胞成像和机器学习,探索了 MolCLR 用于预测化合物毒性。其研究人员发现,将 MolCLR 的分子图嵌入与其表型图像特征相结合,将肝脏毒性预测的 AUC 从 0.78 提高到 0.84。这种混合方法现已纳入其内部筛选流水线。
与竞争对手的比较:
| 特性 | MolCLR | GraphCL | MoCo (图) | SimCLR (图) |
|---|---|---|---|---|
| 增强策略 | 原子掩码 + 键扰动 + 子图 | 节点丢弃 + 边扰动 + 子图 | 随机游走 + 子图 | 节点丢弃 + 边扰动 |
| 损失函数 | InfoNCE | InfoNCE | 带动量编码器的对比损失 | InfoNCE |
| 预训练数据集 | ZINC15, ChEMBL | ZINC15, NCI | ZINC15 | ZINC15 |
| 下游任务 | MoleculeNet (5 个任务) | MoleculeNet (8 个任务) | MoleculeNet (4 个任务) | MoleculeNet (3 个任务) |
| 开源仓库 | 是 | 是 | 是 | 是 |