AdaPlanBench：在世界和用户约束下评估 大语言模型 代理中的自适应规划

通过语言模型规划现实世界问题通常涉及世界约束和用户约束，这些约束可能不会预先完全指定，并通过交互逐步公开。然而，现有的基准仍然没有充分探索在这种逐渐暴露的双重约束下的适应性规划。为了解决这一差距，我们引入了 AdaPlanBench，这是一个动态交互式基准，用于评估 大语言模型 (LLM) 代理是否可以在逐渐揭示的世界和用户约束下自适应地规划和重新规划。 AdaPlanBench 基于 307 个家庭任务构建，具有可扩展的约束构建管道，可通过双重约束增强每个任务。在运行时，代理以多回合协议与环境交互，其中只有当代理提出违反约束的计划时，隐藏的约束才会被揭示，需要在累积反馈下迭代计划修订。这使得规划变得具有挑战性，因为代理必须从反馈中推断和跟踪约束，同时有效地重新规划。对十个领先的 LLM 的实验表明，双重约束下的自适应规划仍然具有挑战性，最佳模型仅达到 67.75% 的准确率。我们进一步观察到，随着更多约束的积累，性能会下降，用户约束构成了特别大的挑战，而失败通常源于较弱的物理基础和有效性的降低。这些结果将 AdaPlanBench 确立为双约束交互式规划的测试平台，并强调了可靠适应 LLM 代理中动态显示约束的挑战。