论文

DKCD:从非结构化数据中进行领域知识增强的因果发现

DKCD: Domain Knowledge-Enhanced Causal Discovery from Unstructured Data

上下文与知识检索增强

摘要

在医疗保健、金融和教育等高专业领域,从非结构化数据中发现因果关系是一项具有挑战性但尚未得到充分探索的任务。现有方法通常利用 大语言模型 (LLM) 的常识来从非结构化数据中识别因果因素,并将其注释为结构化数据以构建因果图。然而,它们仍然受到两个关键挑战(CH)的限制:(CH1)由于缺乏特定领域的知识,无法充分识别潜在因素,这些因素隐含在数据中,但对于因果发现至关重要; (CH2)由于缺乏基于领域的推理而导致的不可靠的因素注释,这会将错误传播到结果因果图。为了应对这些挑战,我们引入了一种新颖的领域知识增强型因果发现框架(DKCD),用于从高专业领域的非结构化数据中发现因果关系,具有三个相互关联的组件:(1)知识挖掘:它根据可观察因素检索相关领域知识以支持后续因果推理。 (2)知识引导的因果推理:利用相关知识进行推理,发现解决CH1的潜在因果因素,并生成关键因果线索,以便更准确地注释数据以解决CH2。 (3)因果结构发现:基于更完整的因素集和准确的注释构建最终的因果图。对两个特定领域数据集的实验表明,DKCD 显着改善了因果因素识别和因果图构建。