用于模块化关系深度学习的通用编码器

关系深度学习 (RDL) 将多表数据库建模为用于端到端表示学习的时间异构图。虽然 RDL 正在迅速发展，但现有方法面临着重大的泛化障碍。它们要么是特定于模式的，需要从头开始对每个新数据库进行训练，要么依赖于将特征编码与图形消息传递纠缠在一起的整体架构。分析这些局限性，我们建立了构建基础关系模型的四个核心支柱：语义粒度、结构拓扑、时间因果关系和统一优化。针对这些支柱，我们提出了一种模块化方法，将行编码与图形消息传递分离。我们引入了通用行编码器，这是一个基于 Transformer 的模块，它将原始单元格数据与模式元数据（包括列语义、表名称和全局分布统计数据）集成在一起，以生成表宽度不变的行嵌入。通过显式地将全局统计数据提供给行内自注意力机制，编码器可以本地化未见过的特征并处理稀疏数据。作为任何下游图形架构的灵活“后端”，我们的预训练编码器增强了已建立的 RelBench 基准上的跨数据库知识传输，同时改善了学习收敛和内存占用。