思考-探索-回应：改进大语言模型作为研究思想新颖性的评判标准

自动新颖性判断可以通过有效评估、完善和比较研究想法来加速科学发现。虽然 大语言模型 越来越多地被用于这项任务，但我们调查了他们判断能力中以前被忽视的限制：尽管生成的推理原理与人类专家的推理原理非常相似，但他们最终的新颖性判断往往存在很大差异。我们证明，这种错误校准源于对将想法判断为“中等小说”的系统性偏见。为了缓解这个问题，我们提出了思考-探测-响应（TPR），这是一种轻量级方法，可以在推理阶段从隐藏状态中探测潜在的新颖性判断，并使用探测到的判断来调节最终响应。在强基线上，TPR 将新颖性判断性能提高了 22.30%，并成功缓解了普遍存在的“中等新颖性”偏差。