论文

想得越多,偏差越大:推理模型中长度驱动的位置偏差

More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models

模型评测鲁棒性、公平性与可信度评测

摘要

思维链(CoT)推理以及DeepSeek-R1等经推理调优的模型通常被认为能够通过仔细思考来减少浅层启发式偏差。我们在多选题问答的位置偏差上检验这一假设,却发现另一种情形:在任何具备推理能力的模型内部,逐题位置偏差随推理轨迹的长度而增长。在MMLU、ARC-Challenge与GPQA上,跨十三种推理模式配置(两个R1蒸馏的7-8B模型、两个以CoT提示的基座模型,以及671B的DeepSeek-R1),其中十二种在控制准确率后显示出轨迹长度与位置偏差分数(PBS)之间的正偏相关,取值介于0.11至0.41(均 p < 0.05)。全部十二个开源权重推理模式配置在长度四分位上表现出PBS的单调递增。一项截断干预提供了因果证据:从轨迹中较后位置恢复的续写越来越倾向于转向位置偏好选项(R1-Qwen-7B在绝对位置分桶上为16%至32%)。在671B规模下,聚合PBS骤降至0.019,但长度效应仍体现在最长的四分位(PBS = 0.071),这表明准确率是为长度驱动偏差的表达设置闸门,而非消除其底层机制。我们还发现直接作答的位置偏差是一种具有不同印记的独立现象(在Llama-Instruct-direct上强、在Qwen-Instruct-direct上弱,且与轨迹长度不相关):CoT推理以长度累积偏差取代了这一基线偏差。我们的结果主张,在多选题(MCQ)评测流程中不应默认将具备推理能力的模型视为对选项顺序鲁棒,并提供了一套用于审计推理模型位置偏差的诊断工具箱(PBS、承诺变化点、有效切换、截断探针)。