生成有效的 CoT 轨迹以减轻因果幻觉

尽管大语言模型（LLM）在复杂的推理任务中表现出色，但它们在事件因果关系识别（ECI）中遭受严重的因果幻觉，特别是在较小的模型（$\leq$1.5B参数）中。解决这个问题的一个有前途的方法是使用思想链 (CoT) 跟踪对它们进行微调。然而，目前缺乏可用于 ECI 的 CoT 跟踪数据集。在本文中，我们首先研究有效的 CoT 迹线应具备的基本标准，以减轻较小模型中的因果幻觉。然后，我们设计一个管道来生成满足这些标准的 CoT 跟踪。此外，由于目前没有量化因果幻觉的指标，我们还引入了一个新的指标，即因果幻觉率（CHR），来量化因果幻觉，指导制定有效的CoT跟踪标准，并验证我们的管道的有效性。我们的实验表明，具有由我们的管道生成的 CoT 迹线的 微调 不仅大大减少了较小 LLM 中的因果幻觉，而且还提高了平均精度。此外，经过微调的模型表现出强大的跨数据集和跨难度泛化能力，以及在误导性干预提示下的稳健性。