图表对 大语言模型 推理有帮助吗？三段论推理的证据

图被广泛用于支持逻辑推理，先前的研究表明，欧拉图等表示形式可以提高人类推理性能。最近的工作还探讨了它们对 大语言模型 (LLM) 的影响。在本文中，我们比较了三段论推理的四种表示条件：自然语言、逻辑符号、线性图和欧拉图。使用 Ando 等人的 285 个问题。 （2024），我们评估了两个当代的 LLM，Claude 3.5~Sonnet 和 GPT-4o-mini。我们的结果表明，图表表示并不能持续提高性能。尽管这些模型在蕴涵和矛盾问题上表现良好，但它们在处理中性问题时表现不佳，并且经常出现系统转换错误。总体而言，结果表明，测试模型从逻辑推理任务中的图表中获得的好处有限。