论文

推理模型在心理理论任务上未必优于非推理模型

To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks

模型评测模型行为与机制分析

摘要

心智理论(Theory of Mind,ToM)评估模型能否推断信念、欲望和意图等隐藏心理状态,这对自然的社交互动至关重要。尽管大型推理模型(Large Reasoning Model,LRM)的近期进展提升了数学和编程中的逐步推理,这一收益能否迁移到社会认知技能仍缺乏充分研究。我们对九个先进大语言模型(Large Language Model,LLM)开展系统研究,在三个代表性 ToM 基准上比较推理模型与非推理模型。结果显示,推理模型并不一致地优于非推理模型,有时表现更差。细粒度分析揭示了三点洞见。其一,慢思考崩塌:随着回答变长,准确率显著下降,更大的推理预算反而损害性能。其二,适度且自适应的推理有益于表现:约束推理长度可以缓解失败,而不同的成功模式则表明动态适应的必要性。其三,选项匹配捷径:当移除多选选项时,推理模型显著提升,表明其依赖选项匹配而非真正的演绎。我们还设计了两种干预方法——慢到快(Slow-to-Fast,S2F)自适应推理与思考到匹配(Think-to-Match,T2M)捷径防范——以进一步验证并缓解上述问题。综合所有结果,我们的研究强调,LRM 在形式推理(如数学、代码)上的进步无法完全迁移到作为社会推理典型任务的 ToM 上。我们的结论是,实现稳健的 ToM 需要在现有推理方法之外发展独特的能力。

思考还是不思考,这是大型推理模型在心智理论任务中的问题
图7:Slow-to-Fast(S2F)与Think-to-Match(T2M)技术概览。