论文
大语言模型 计划是否回答职位？多项选择题生成中的位置偏差
Do Large Language Models Plan Answer Positions? Position Bias in Multiple-Choice Question Generation
摘要
大语言模型 (LLM) 越来越多地用于生成多项选择题 (MCQ)，其中正确答案理想情况下应均匀分布在选项中。然而，我们观察到 LLM 在生成过程中表现出系统位置偏差。通过在三个 MCQ 生成任务上使用 10 个 LLM 和 5 个视觉语言模型 (VLM) 进行的广泛实验，我们表明这些偏差是结构化的，模型家族中出现了类似的模式。为了研究潜在的机制，我们进行了探测实验，发现问题干中的隐藏表示编码了正确答案位置的预测信号，这表明答案位置可能在生成过程中隐式计划。基于这种见解，我们应用激活引导来操纵内部表示并影响答案位置。我们的结果表明，转向可以部分控制位置偏好并显着改变答案位置分布。我们的研究结果为研究 LLM 中的隐式位置规划提供了一个实用框架，并强调了可控生成对于可靠的 MCQ 构建和评估的重要性。