沙丘社区
论文

比较性反转学习揭示LLM在非平稳不确定性下的僵化适应

Comparative reversal learning reveals rigid adaptation in LLMs under non-stationary uncertainty

Haomiaomiao Wang, Tomás E Ward, Lili Zhang
模型评测模型能力评测

摘要

非平稳环境要求智能体在情境关联发生变化时修正先前习得的动作价值。我们将大语言模型（LLM）视为序贯决策策略，在一个具有三个潜在状态、切换事件由表现标准或超时触发的双选项概率化反转学习任务中进行研究。我们比较了确定性的固定转移循环与增加波动性的随机调度，并对DeepSeek-V3.2、Gemini-3和GPT-5.2进行评估，同时以人类数据作为行为参照。在各模型中，赢则保持（win-stay）接近上限，而输则转换（lose-shift）明显减弱，揭示了对正性与负性证据使用的不对称。DeepSeek-V3.2在反转后表现出极强的固着性与较弱的学习获取能力，而Gemini-3和GPT-5.2适应更快，但对损失的敏感性仍低于人类。随机转移放大了各LLM在反转后的固着，但并未一致地减少总获胜次数，这表明高总收益可以与僵化适应并存。分层强化学习（RL）拟合表明存在可分离的机制：僵化可能源于损失学习薄弱、策略确定性过高，或经由反事实抑制产生的价值极化。这些结果为在非平稳不确定性下评估LLM提供了开发反转敏感诊断方法与波动性感知模型的动机。

比较性反转学习揭示LLM在非平稳不确定性下的僵化适应：论文配图
图 2：固定和随机计划（底部行与顶部行）的 Dual RL 和 Dual RL-κ\kappaDU（左行与右行）下的后组级参数密度。面板显示增益和损失学习率 (ηpos,ηneg\eta_{\mathrm{pos}},\eta_{\mathrm{neg}})、逆温度 (β\beta) 和（对于 κ\kappaDU）反事实更新参数 (κ\kappa)。