技术深度解析
关系型深度学习(RDL)从根本上重新构想了神经网络如何摄入结构化数据。传统方法——无论是XGBoost这样的表格模型,还是TabNet这样的深度学习方法——都需要一个“展平”步骤:每一行变成一个固定长度的向量,而行与行之间的关系(例如,一个客户的多次购买)要么被聚合掉,要么被手动设计成特征。这破坏了关系结构,而关系结构正是企业数据库的精髓所在。
RDL则将整个数据库视为一个异构图。每个表成为一种节点类型(例如,用户、产品、订单),外键成为边(例如,用户-订单、订单-产品)。然后,模型使用图神经网络(GNNs)的一种变体——具体来说是消息传递神经网络(MPNNs)——沿着这些边传播信息。关键创新在于,消息传递过程由数据库模式本身引导,这充当了自然的归纳偏置。
架构细节:
1. 节点初始化: 每个节点(行)用其自身的特征(列)进行初始化。例如,用户节点可能包含年龄和性别;产品节点可能包含价格和类别。
2. 消息传递: 对于给定的目标节点(例如,一个用户),模型使用排列不变函数(如求和或均值)从其邻居(例如,订单、购买的产品)聚合信息。这一过程重复多层,允许信息沿更长的路径传播(例如,用户 -> 订单 -> 产品 -> 类别)。
3. 关系特定变换: 由于不同的边类型(例如,“购买” vs. “评分”)承载不同的语义,RDL模型通常为每种关系类型使用独立的权重矩阵,类似于关系图卷积网络(R-GCNs)。
4. 读出: 对于节点级任务(例如,预测用户流失),最终的节点表示被输入分类器。对于图级任务(例如,预测总体销售额),池化操作聚合所有节点表示。
关键GitHub仓库:
- Relational Deep Learning (rdl) 由Benedek Rozemberczki及其同事开发:这是规范实现,提供了一个基于PyTorch的框架,可自动将SQL数据库转换为异构图。它在GitHub上已获得超过2,800颗星,并包含用于常见任务(如链接预测和节点分类)的预构建模型。
- PyTorch Geometric (PyG):GNNs的基础库,提供消息传递原语。PyG拥有超过22,000颗星,是使用最广泛的GNN框架。
- DGL (Deep Graph Library):PyG的替代方案,拥有超过14,000颗星,提供类似功能,并专注于可扩展性。
基准性能:
| 模型 | 数据集 | 任务 | AUC-ROC | F1分数 | 训练时间(秒) |
|---|---|---|---|---|---|
| XGBoost(扁平) | MovieLens-1M | 评分预测 | 0.82 | 0.75 | 45 |
| TabNet(扁平) | MovieLens-1M | 评分预测 | 0.84 | 0.77 | 120 |
| RDL (R-GCN) | MovieLens-1M | 评分预测 | 0.91 | 0.86 | 180 |
| XGBoost(扁平) | 欺诈检测(合成) | 交易欺诈 | 0.88 | 0.81 | 30 |
| RDL (HeteroGNN) | 欺诈检测(合成) | 交易欺诈 | 0.95 | 0.90 | 150 |
数据要点: 在推荐和欺诈检测任务中,RDL模型在AUC-ROC和F1分数上始终比扁平模型高出5-10%。代价是训练时间更长,因为图构建和消息传递带来了额外开销,但在准确性至上的企业应用中,这通常是可以接受的。
关键参与者与案例研究
多个组织与研究人员正在推动关系型深度学习的应用,各自拥有独特的策略与业绩记录。
学术先驱:
- Benedek Rozemberczki(剑桥大学):Relational Deep Learning框架的主要作者,也是将该方法形式化的关键人物。他的工作强调,任何关系型数据库都可以自动转换为图,从而消除手动特征工程的需求。
- Michael Bronstein(牛津大学):几何深度学习领域的领军人物,其关于GNNs的理论工作为RDL提供了数学基础。他的团队证明,在关系图上进行消息传递是卷积网络的自然延伸。
行业实践者:
- Uber:自2020年起,Uber一直在使用一种关系图学习形式进行欺诈检测。他们的系统基于PyTorch Geometric构建,将交易建模为异构图,节点包括用户、设备、支付方式和商户。与之前的扁平模型方法相比,这使欺诈检测准确率提升了15%。
- Pinterest:使用一种基于关系图的推荐系统,名为PinSage,将图钉和画板视为节点,用户交互视为边。虽然这不是一个纯粹的RDL系统(它使用随机游走),但它展示了图方法在推荐领域的强大潜力。