论文
使用 LLM 派生的抽象增强叙事类比推理的结构映射
Enhancing Structural Mapping with LLM-derived Abstractions for Analogical Reasoning in Narratives
摘要
类比推理是人类解决问题和论证中泛化的关键驱动力。然而,叙事结构之间的类比对于机器来说仍然具有挑战性。用于结构映射的认知引擎并不直接适用,因为它们假设预先提取的实体,而 LLM 的性能对提示格式和叙述之间的表面相似程度敏感。这种差距引发了一个关键问题:使用 LLM 派生的抽象增强结构映射对其叙事中的类比推理能力有何影响?为此,我们提出了一个名为 YARN(Yielding Abstractions for Reasoning in Narratives)的模块化框架,它使用 LLM 将叙述分解为单元,抽象这些单元,然后将它们传递给映射组件,该组件跨故事对齐元素以执行类比推理。我们定义并实施了四个抽象级别,以捕获单元的一般含义及其在故事中的角色,以之前的框架工作为基础。我们的实验表明,抽象不断提高模型性能,从而比端到端 LLM 基线具有竞争力或更好的性能。更仔细的错误分析揭示了在正确层面的抽象、纳入隐含因果关系以及叙事中类比模式的新兴分类方面仍然存在的挑战。 YARN 能够系统地改变实验设置,以分析组件贡献,并支持未来的工作,我们公开了 YARN 的代码。