论文

Arrow:因果发现的基础模型

Arrow: A Foundation Model for Causal Discovery

模型训练预训练

摘要

我们引入了 Arrow,这是一种针对观察表格数据进行零样本因果发现的基础模型。 Arrow 将有向无环图分解为无向骨架和拓扑顺序,通过构造保证无环性。给定一个新数据集,它使用基于 Transformer 的架构将观察内和观察之间的变量置于上下文中,然后预测共同定义图的骨架边缘概率和节点顺序分数。 Arrow 使用由骨架阶分解引起的端到端可微有向边复合似然,在具有 真值 图的合成数据集上以监督方式进行训练。训练分布涵盖不同的图族、函数形式、噪声模型和数据集形状。在分布内和分布外的合成、半合成和真实数据集上,Arrow 与现有的因果发现方法相匹配或优于现有的因果发现方法,而推理成本远低于竞争替代方案。我们的结果表明,对各种合成数据进行大规模预训练可以产生快速、准确且可在新数据集上重复使用的零样本因果发现模型。