论文

在溯因推理中,思维努力在人类和推理模型之间保持一致

Thinking effort aligns between humans and reasoning models in abductive reasoning

模型评测模型行为与机制分析

摘要

认知建模中的一个主要问题涉及 大语言模型 和人类在语言和非语言任务中的行为一致性。与标准 LLM 不同,大型推理模型 (LRM) 通过可验证奖励的强化学习进行优化,鼓励正确解决推理任务而不是偏好一致的响应。最近的工作(de Varda 等人,2025)通过将人类反应时间与一系列推理任务中的模型推理轨迹进行比较,研究了人类和 LRM 的思维成本。我们通过转向溯因推理来隔离这种一致性:与演绎任务不同,它的难度不能从形式结构中推断出来,并且没有提供模型可以利用的捷径来模拟没有真正搜索的努力,为共同努力的经验主张提供了更坚实的基础。我们找到了 LRM 与人类推理工作之间一致性的进一步证据,以及模型和人类倾向于犯类似错误的证据。最后,我们展示了让模型探索多个推理路径的解码方法可以提高三个测试模型中人类和 LRM 之间推理成本的一致性。