PluRel-to-RDB-PFN：模式引导的综合关系预训练

关系基础模型 (RFM) 需要大规模综合关系数据库进行预训练，但现有方法将数据生成与 模型训练 管道紧密耦合。我们研究 PluRel（一种通用合成关系数据库生成器）是否可以作为 RDB-PFN 的外部数据源，RDB-PFN 是一种关系上下文学习器，最初通过 600K 任务单表预热进行预训练，随后进行大约 180 万任务适应阶段。我们构建了一个转换管道，将 PluRel 生成的数据库（包括外部构建的二进制预测任务）映射到 RDB-PFN 训练格式，并评估三种课程策略：SCHEMA-GUIDED FIRST（真实世界模式，然后完全合成）、FULLY SYNTHETIC（整个过程中的各种合成模式）和 SCHEMA-GUIDED LAST（完全合成，然后真实世界模式）。仅使用大约 5,500 个关系数据库（大约 33K 任务），比原始协议减少大约 55 倍的任务，并且没有单表预热，我们的最佳课程（SCHEMA-GUIDED FIRST）在 1024 个样本上下文中的 19 个真实基准测试任务中实现了 0.6346 平均 ROC-AUC，恢复了已发布 RDB-PFN 性能的 87.6% （0.7245）。在 64 个镜头的情况下，差距缩小至 93.8%（0.6116 vs. 0.6517）。我们的结果表明，当与适当的课程设计相结合时，外部合成生成器可以为 RFM 提供有用的预训练信号，并且在训练早期接触现实世界模式比后期模式适应要有效得多。