论文
CDFM:迈向通用因果发现基础模型
CDFM: Towards a General-Purpose Causal Discovery Foundation Model
摘要
因果发现,即从观测数据中恢复潜在因果结构的过程,是跨科学学科的基本追求。在过去的几十年里,人们开发了许多算法来通过针对每种类型数据集背后的特定因果机制定制的工作流程来应对这一挑战,并在广泛的应用程序中展示了有效性。然而,随着现实世界数据的数量和异质性不断增长,这种特定于数据集的方法不可避免地会导致分散的、测试驱动的范式,难以扩展以满足现代科学发现的需求。为了解决这个问题,我们制定了因果发现基础模型(CDFM)作为零样本结构推理的统一通用框架。为了确保跨未知领域的可靠泛化,我们首先研究因果可识别性的理论边界,揭示因果先验机制在此过程中不可或缺的作用。基于这些见解,我们制定了一个有原则的变分框架,将未知的因果机制视为潜在变量,并在数学上将棘手的边际可能性分解为不同的、易于处理的学习模块。变分分解为CDFM的架构设计提供了概念设计原则,而全面的因果知识指导了我们预训练数据的大规模综合。通过对大规模、高度多样化的合成结构因果模型空间进行预训练,CDFM 成功地内化了复杂的统计不对称性。大量实验表明,CDFM 始终优于传统算法,推动了向通用因果发现基础模型的范式转变。