关系迁移学习中的任务稀缺和标签泄漏

训练关系基础模型需要学习跨任务转移的表示，但可用的监督通常仅限于每个数据库的少量预测目标。这种任务稀缺性导致学习到的表示对特定于任务的快捷方式进行编码，即使在同一模式内也会降低传输性能，我们称之为标签泄漏的问题。我们使用 K-Space 来研究这个问题，K-Space 是一种模块化架构，将冻结的预训练表格编码器与轻量级消息传递核心相结合。为了抑制泄漏，我们引入了一种梯度投影方法，该方法从表示更新中删除标签预测方向。在 RelBench 上，这将数据集内传输平均提高了 +0.145 AUROC，通常恢复到接近单任务性能。我们的结果表明，有限的任务多样性，而不仅仅是有限的数据，限制了关系基础模型。