论文
当模型知道的比他们说的多时:探索 LLM 中的类比推理
When Models Know More Than They Say: Probing Analogical Reasoning in LLMs
摘要
类比推理是叙事理解所必需的核心认知能力。虽然 LLM 在表面和结构线索对齐时表现良好,但在类比表面上不明显但需要潜在信息的情况下,它们会表现不佳,这表明抽象和概括方面存在局限性。在本文中,我们将模型的探测表征与其在检测叙事类比方面的提示性能进行了比较,揭示了一种不对称性:对于修辞类比,探索明显优于开源模型中的提示,而对于叙事类比,它们实现了相似(低)的性能。这表明内部表征和提示行为之间的关系是任务相关的,并且可能反映了提示如何访问可用信息的限制。