论文

TabCausal:跨因果环境进行预训练以发现表格因果关系

TabCausal: Pretraining Across Causal Environments for Tabular Causal Discovery

模型训练预训练

摘要

因果发现旨在从观察和干预数据中恢复定向因果关系,为机械理解和可靠决策提供基础。因果发现基础模型 (CDFM) 试图通过在单次前向传递中将数据集直接映射到因果图来分摊此问题,从而避免每个数据集的测试、搜索或优化。然而,现有的 CDFM 仍然有限,通常无法一致地匹配强大的经典方法,我们发现一个关键瓶颈是如何构建因果预训练任务。基于这一观察,我们提出了 TabCausal,一种数据驱动的 CDFM,在不同的图先验、结构机制、噪声模型、维度、样本大小和干预机制上进行了广泛的因果预训练。动态任务构建策略将这些因果环境组合成各种发现任务,从而能够从观察数据和混合干预数据中进行更多可转移的结构学习。在大规模综合基准上,TabCausal 比一组不同的因果发现基准实现了更好的宏观平均性能。为了进一步连接抽象合成生成器和现实因果推理场景,我们引入了协议引导和 LLM 审核的语义因果环境基准,其中基于领域的 SCM 生成可解释的观察和干预数据集,用于分布外分析。在合成和语义环境中,TabCausal 展示了强大的结构恢复能力,尤其是在干预证据下,强调广泛的因果预训练是可转移摊销因果发现的关键要素。