论文
问、松还是行?LLM偏好推理中的可行动不确定性
Ask, Relax, or Act? Evaluating Actionable Indeterminacy in LLM Preference Reasoning
摘要
LLM智能体能识别不确定性却仍选错下一步:在行动已合理时去提问,或在必须改变约束时去寻求澄清。我们形式化可行动不确定性:当被接受的动作跨越所有可采纳偏好或目标共享时行动;当每种可能都可行但无共享动作时澄清;当请求不可行时提出最小成本的许可约束修复。我们构建以求解器为根据的基准,横跨物体分配、会议安排、公寓选择与稳定匹配:匹配对保留相同来源而改变是否需要干预,评估分离决策正确性、匹配对可靠性与完全正确响应。发现揭示反复出现的困难——识别"何时无需干预":模型能识别需要澄清或修复的情形,却在合理动作已存在时仍去干预;正确的决策标签也不能保证可用的动作、问题或修复。关键地,响应要求不仅塑造决策如何表达,还塑造做出哪些决策:显式化所需内容大幅提升完全正确响应,并能改变干预决策——即使输出已可解析。发现凸显可靠智能体不只是识别不确定性:它要求仅在必要时干预,并把所选下一步转化为可验证的响应。