不确定性下的思考：语言模型中的证据使用和信息查找

推理时思维提高了 大语言模型 的性能，但总体结果并不能揭示模型是否更有效地使用现有证据或寻求可以改进未来决策的信息。我们通过测量行动偏好、思考长度和匹配不确定性下报告的置信度来区分这些反应。十个开放重量模型在思维和非思维模式下完成了匹配的水平式双臂老虎机试验。认知模型将价值引导的行动和与不确定性无关的选择噪音与探索的两种行为特征分开：对鲜为人知的手臂的类似 UCB 的偏好，以及随着总体不确定性而增加的类似汤普森的选择变异性。平均而言，思维强化了价值导向的行动，减少了与不确定性无关的选择噪音，但没有产生 UCB 式的探索或强化汤普森式的探索。在外部行动中，信息不平衡的历史条件也比匹配的平衡条件显示更多的观察结果，与更长的思维长度相关。报告的信心对决策难度变得更加敏感，并且与所选任务证据的相关性更强。我们将这些思维长度和报告置信模式分别解释为与元认知控制和元认知监控一致，但没有建立任何一个过程。解码器扫描，尤其是温度扫描，改变了选择噪声和思考长度，但没有重现联合交叉输出模式。在这种受控决策设置中，思维改进了模型对当前证据的反应方式，而测量的签名都不支持转向更多的信息寻求政策。