你改变了主意，模型没有：揭开多轮对话中意图的神秘面纱

当大语言模型处理多回合任务并且用户提出更改但最终拒绝它时，模型应该继续下去，就好像没有发生任何更改一样。我们发现了一个令人惊讶的失败：即使用户的最终意图保持不变，仅仅提及被拒绝的更改也会使任务执行脱轨。为了系统地研究不断变化的用户意图下的语言模型行为，我们引入了 Intent-Eval，这是一个涵盖工具操作、代码、数据库和数学的受控基准测试。在不同的任务中，模型很容易受到被拒绝的提案和被取代的需求的影响，这与提到的实际混淆一致：会话内容即使在被拒绝或替换后也被视为活动需求。随着交互的继续，准确性下降可能会加深或持续，这突出表明需要区分已提到的内容和仍然有效的内容。基于这一见解，我们提出了 Intent-OPSD，这是一种基于策略的决策条件自蒸馏框架，其中教师模型和学生模型从同一模型初始化。冻结的教师模型从与用户决策相匹配的完整任务中提供主动意图监督，训练和学生模型在完整对话上提供主动意图监督，以遵循反映用户意图的主动要求。