超越 Oracle 沟通：在沟通不畅和不断变化的用户意图下对交互式意图一致性进行基准测试

现代大语言模型Agent越来越多地通过与用户进行交互式、长期交流来处理复杂的任务，而现有的基准通常假设用户总是准确、充分地传达固定的意图。然而，这种预言机沟通假设在实践中很少成立：用户可能会沟通不畅、改变目标并失去耐心。我们将此任务设置定义为交互式意图对齐，其中Agent必须恢复并持续跟踪用户当前的意图，尽管沟通不完善且目标不断变化。为了研究这种设置，我们引入了 Drift-Bench++，这是一个原则性的基准构建管道，用于验证可执行任务，具有受控的错位和意图转移，以及具有有限耐心、多样化模拟用户和静默交互条件转移的交互协议。我们进一步开发了 GRIP，这是一个全面的评估协议，涵盖任务基础、用户现实性、查询有效性以及对不断变化的意图的适应。在不同的环境、模型和交互条件下，更强的交互始终有助于预言机性能，但与预言机性能仍然相去甚远；对已部署的 ProdAgent 会话的验证进一步表明，建模的故障在部署中很普遍且会产生后果。通过为交互式意图对齐提供统一、可执行的基准，Drift-Bench++ 为在现实通信和不断变化的意图下评估和推进Agent奠定了基础。