论文
LLM为何在因果发现上失败以及干预式智能体如何突围
Why LLMs Fail at Causal Discovery and How Interventional Agents Escape
摘要
因果发现是科学推理的基石，然而大语言模型能否可靠地执行因果发现仍是悬而未决的问题。近来的基准显示，即使是微调过的模型在简单因果图上也止步不前，并随复杂度增长而退化，但其失败原因尚未被确立。我们证明这种失败是根本性的：监督微调、直接偏好优化与上下文学习所产生的预测器都无法区分生成相似观测数据的因果图，而任何试图加以区分的尝试都要求模型的内部表征无界增长，这违背了这些方法赖以运作的前提条件。我们将其形式化为一个核阻碍定理（kernel obstruction theorem），确立该局限是学习范式本身所固有的，而非任何特定模型或数据集所致。我们提出智能体因果贝叶斯优化（Agentic Causal Bayesian Optimization, A-CBO）：冻结的语言模型充当回答干预效应定向查询的干预式神谕，而外部的贝叶斯循环以对数级的轮数将信念集中到候选图上。由于决策运行在阻碍定理适用的空间之外，A-CBO可证明地收敛，而底层模型保持不变。在Corr2Cause上，A-CBO无需任何训练即可与微调基线持平。在Extended Corr2Cause——一个扩展到24个变量、含18K测试样本的新基准——上，A-CBO显著优于微调与偏好优化，且优势持续增长
