论文

知道但不表现:LLM 认识到歧义但很少提出澄清问题

Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions

模型评测模型能力评测

摘要

用户查询通常不明确,并且可能接受多种有效的解释。一个有用的助手应该通过提出澄清问题来揭示这种模糊性,而不是默默地对用户的意图做出假设。这样做需要两种能力:认识到查询是不明确的,并根据这种认识采取行动,寻求澄清而不是直接回答。为了研究这些能力,我们在三种环境中评估歧义、明确和消歧问题的模型:标准问答、显式歧义判断和行为分析,其中判断模型将响应分类为直接答案、拒绝或澄清问题。我们发现识别和行为之间存在明显的差距:当明确要求对模型进行判断时,模型通常会识别出歧义,但在 QA 设置中,它们绝大多数默认为直接答案。检索到的上下文通过提高可回答性进一步扩大了这一差距,同时使模型更不可能提出澄清问题。