论文

RelICL:使用表格基础模型进行免训练关系学习

RelICL: Training-free Relational Learning with Tabular Foundation Models

摘要

表格基础模型无需任何训练即可在单表任务上实现最先进的性能。最近的工作表明,它们也非常适合通过深度特征合成(DFS)进行关系学习,通过添加其他表列的聚合作为特征,将关系模式扁平化为单个表。这种方法很有吸引力,因为它直接受益于底层表格基础模型的改进或定制。在本文中,我们确定了 DFS 的两个关键问题:特征爆炸和交互盲目性。第一个问题的出现是因为随着模式变得更加复杂,DFS 功能的数量快速增长,从而限制了可扩展性和性能。出现第二个问题是因为按列聚合不考虑特征交互,从而限制了性能。我们提出并探索了一种称为 RelICL 的替代方法,它保留了 DFS 的优点,但缓解了这两个问题。从本质上讲,RelICL 使用最终用于预测的相同表格基础模型通过模式图逐步传播和融合信息。在我们使用 RelBench 任务的实验研究中,RelICL 与基于深度特征合成的最强方法不相上下。