LLM多臂老虎机中的决策刚性及其对人机二元组的启示

我们检验LLM是否表现出稳健的决策偏差。我们将模型视为双臂老虎机（bandit）任务中的被试，在四种解码配置下对每种条件各运行了20000次试验。在对称奖励下，模型将位置顺序放大为顽固的单臂策略。在非对称奖励下，它们进行刚性利用，表现不及oracle参照，且很少重新检验。所观察到的模式在操纵temperature与top-p时保持一致，而top-k保持为提供商默认值，表明这些定性行为对从业者通常可用的两个解码旋钮是稳健的。关键的是，我们超越描述性指标走向计算建模，层次化Rescorla-Wagner-softmax拟合揭示了潜在策略：低学习率与极高的逆温度，二者共同解释了从噪声到偏差的放大与刚性利用。这些结果将极简老虎机任务定位为探查LLM决策倾向的可驾驭探针，并引发关于此类偏差可能如何塑造人机交互的假设。