论文
澄清不等于纠正:LLM 学不会放手
Clarification Is Not Correction: LLMs Fail to Let Go
摘要
语言模型的对话失败通常被归结为记忆失败:上下文太长、摘要有损、约束被遗忘。我们认为这忽略了一个更深的问题:在许多对话中,模型不是忘了,而是过早承诺。一个含糊的早期回合坍缩为单一隐藏解释,后续澄清都要经过这一承诺的过滤。我们称之为早期后验坍缩(early posterior collapse):未解决的用户意图在歧义被消解之前坍缩为已承诺的任务状态。我们在写作、规划与编码的受控对话任务上,使用 Gemini-2.5-Pro 与 Gemini-2.5-Flash 研究这一现象。在数千次试验中,相同信息以不同顺序呈现会产生不同结果,即使最终对话包含同等的任务相关信息。这种顺序效应表明,后续澄清被当作额外上下文而非纠正信号:它修补一个过时的任务状态,却不使其失效。编码任务尤其脆弱,说明早期假设被嵌入到接口、控制流等结构化产物中。标准提示与记忆策略并不能可靠地解决问题:摘要可能坍缩歧义,思维链能减少推理轨迹中显式的错误承诺却不提升最终任务成功率。这些发现促使我们提出保留不确定性的状态管理。如果助手无法放下早期解释,鲁棒性就不能仅依赖事后纠正;必须防止含糊的早期回合硬化为单一任务状态。助手应在歧义尚存时保持试探性假设,在高影响歧义持续时先询问再执行,并在后续证据推翻先前解读时从修正后的状态重建。我们的目标不是提出某个提示修复术,而是把交互式 LLM 的研究方向从保留更多上下文转向保留不确定性。
