不多不少：终端代理中的任务调整

终端代理越来越能够根据单个用户提示自主执行复杂的长期任务。为此，他们必须解释环境中遇到的指令（例如自述文件、代码注释、堆栈跟踪）并确定它们与任务的相关性。这就带来了一个根本性的挑战：必须遵循相关线索才能完成任务，而必须忽略不相关或误导性的线索。现有的基准测试没有捕捉到这种能力。代理人可能会通过盲目遵循所有指示而显得有能力，或者通过完全忽略它们而显得稳健。我们引入 TAB（任务对齐基准），这是一套源自 Terminal-Bench 2.1 的 89 个终端任务。每项任务都故意不明确，缺失的信息作为嵌入自然环境人工制品中的必要线索提供，同时还有看似合理但不相关的干扰因素。解决这些任务需要有选择地使用提示，同时忽略干扰因素。将 TAB 应用于十个前沿智能体揭示了任务能力和任务一致性之间的系统性差距。最强大的 Terminal-Bench 代理在 TAB 上实现了较高的任务完成度，但较低的任务一致性。对六种即时注入防御的评估进一步表明，抑制干扰执行也会抑制完成任务所需的线索。这些结果表明，任务一致的智能体需要选择性地使用环境指令，而不是一揽子接受或拒绝。