论文
注意:知道何时信任 LLM 进行整体因果发现
CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery
摘要
由于纯统计方法的基本局限性,例如等价类内的统计可区分性和对有限样本量的敏感性,从观测数据中发现因果关系仍然具有挑战性。虽然 大语言模型 (LLM) 提供了有前途的领域知识来源来补充统计推断,但现有的 LLM 增强方法很容易受到 LLM 错误的影响并产生高昂的词元成本。此外,依赖单一以数据为中心的算法可能会使结果对算法特定的偏差敏感。为了解决这些限制,我们提出了 CauTion,一个通过共识过滤和 LLM 可靠性估计将 LLM 领域知识可靠地集成到统计因果发现算法集合中的框架。警告分三个阶段进行。首先,算法集成利用共识投票来解决算法一致的高达 96% 的边,从而在过滤后的共识边上实现近乎完美的准确性。其次,信任校准的仲裁机制通过无注释的信任校准程序来估计 LLM 和算法的相对可靠性,然后用于管理信任加权投票过程,将 LLM 仲裁仅限制在具有不可靠算法证据的边缘。第三,应用循环修复步骤来保证最终因果图是有效的非循环。对六个数据集的实验表明,CauTion 始终优于以数据为中心的基线和 LLM 增强的基线,在较大的图形上获得更大的增益,并且对 LLM 错误具有很强的鲁棒性。代码可在 https://github.com/OpenCausaLab/CauTion 获取。