关系基础模型何时真正学会使用跨表关系

关系基础模型越来越多地在合成数据库上预训练，但下游基准很少说明为何一种合成语料能产生更好的模型。强表现可能来自真实的行级统计，而模型从未学会利用关系结构。我们将其视为数据归因问题：合成预训练数据的哪种属性会诱发关系计算？使用四个Relational Transformer检查点，它们的架构、初始化、目标与计算预算相同，训练语料来自四种关系数据生成器，我们将可测量的数据属性追踪到所学计算和下游行为。我们假设，当跨表信息对掩码单元格预训练目标具有预测必要性时，关系机制才会出现。RelDiff从外键关联父表获得的预测增益明显最大，其模型也是唯一在未见数据库上对外键干预敏感的模型。该依赖在随机初始化对照下仍存在，随破坏链接比例单调增大，并定位到串行跨表通路。最后，在下游推断中破坏同一机制，会消除RelDiff在关系任务上的优势，而不利用结构的模型几乎不变。这些结果把合成训练数据属性与所学机制连接，再通过干预连接到下游行为。