用户改变要求时，长程网页Agent能否及时调整？

随着 LLM 代理从解决短期静态问题过渡到在动态环境中执行复杂的长期任务，在任务执行过程中处理用户中断（例如添加需求或修改目标）的能力正在成为实际部署的核心要求。然而，现有的基准在很大程度上假设代理行为不会中断，或者仅在简短的、不受约束的语言任务中研究中断。在本文中，我们首次对长期、基于环境的网络导航任务中的可中断代理进行系统研究，其中动作会引起持久的状态变化。我们形式化了三种现实的中断类型，包括添加、修订和撤回，并引入了 InterruptBench，这是一个源自 WebArena-Lite 的基准，它在严格的语义约束下生成高质量的中断场景。使用统一的中断模拟框架，我们评估了单轮和多轮中断设置中的六个强大的 LLM 主干，分析了它们在适应更新意图方面的有效性以及从任务中途变更中恢复的效率。我们的结果表明，对于强大的大规模 LLM 来说，在长期代理任务期间有效且高效地处理用户中断仍然具有挑战性。代码和数据集可在 https://github.com/HenryPengZou/InterruptBench 获取。