无有效选项时的惩罚式选择题与 LLM 弃答

多项选择题回答 (MCQA) 通常用于评估大语言模型，假设所提供的选项之一是正确的，通常使用答案选择准确性。然而，在实际部署中，用户或检索系统可能会提供无效的选项集，其中列出的选项都不正确，并且选择其中之一可能会产生下游成本。我们将此设置作为惩罚框架无效选项 MCQA 进行研究。使用 MMLU-Pro 的数学子集，我们删除了标记的正确选项，允许模型选择剩余选项或输出 ABSTAIN，并惩罚无效的强制选择响应。我们进一步引入正确条件分析，仅在模型最初回答正确的情况下评估弃权。实验表明，高 MCQA 准确度并不能完全保证弃权的可靠性：即使在明确的无有效选项感知指令和基于惩罚的评分下，模型仍然会对最初正确实例的子集产生无效的强制选择响应。这些结果表明，惩罚框架无效选项 MCQA 揭示了标准答案选择准确性未​​捕获的模型可靠性的一个方面。