成功策略失效时：终端Agent如何适应新环境

LLM Agent越来越多地通过与环境自主交互来解决长期任务。在此过程中，他们的策略依赖于对该环境的假设：存在哪些资源和工具、它们位于何处以及它们的行为方式。当这些假设不再成立时，可靠的Agent必须检测变化并适应，同时追求相同的目标。我们通过环境新颖性来研究这种适应能力：这种变化使任务目标保持固定，同时使原本成功的轨迹背后的假设无效。我们引入了 AGNI，这是一种自动化管道，可以提取与轨迹相关的假设，注入有针对性的环境变化，并验证由此产生的新任务是否仍然可以解决。在三个终端基准测试中，AGNI 产生了涵盖资源、接口、约束和执行语义的各种新颖性。评估多个 LLM Agent揭示了基础任务和新任务之间存在巨大的适应差距。轨迹分析表明，Agent经常遇到变化的证据，但无法诊断其原因并修改其策略。最后，环境新颖性的后训练可以提高对新任务的适应能力，同时也提高基本任务的表现。我们的结果强调了任务能力和适应能力之间的差距，并激励环境变化作为智能体训练和评估的核心维度。