OpenRFM：剖析关系情境学习

关系基础模型 (RFM) 承诺提供一个预训练的预测器，在给定任何关系数据库的情况下，该预测器可通过关系上下文学习 (ICL) 在一次前向传播中返回预测。然而，开放式 RFM 与其商业同行之间存在着巨大的差距，而且这种差距的根源尚未得到系统的了解。我们从两个角度剖析了一个代表性框架：关系型 Transformer (RT)。模型方面：我们展示了 RT 执行关系级 ICL，并且内核回归视图显示，当稀疏标签单元覆盖产生不确定的回归时，RT 会失败。数据方面：我们消除了 RT 的 预训练 源代码，发现现有的纯合成 预训练 和分布中的 预训练 将相同的架构驱动到不同的体系中，惰性学习与特征学习。探究这一差距表明，缺失的成分是标签生成过程中潜在的支持可识别的关系。这两种诊断转化为（1）双阶段 ICL 架构，它将关系主干与从预先训练的表格基础模型中提取的批量级 ICL 层相结合，以克服关系级标签稀缺性；（2）同质感知合成加连续真实数据 预训练 混合物，并通过基于原型的正则化进行增强。这些选择定义了 OpenRFM，这是一种简单而有效的 RFM，与 RT 主干相比，它的平均任务性能提高了约 30%，并且在大量评估任务上超越了商业模型 KumoRFMv1。