论文
AgentHijack：评测计算机使用智能体对常见环境扰动的鲁棒性
AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
摘要
由多模态大语言模型（MLLM）驱动的自治计算机使用智能体，正成为完成复杂数字工作流的得力助手。然而，真实世界的执行环境远非理想：弹窗、分辨率变化和竞争应用频繁干扰智能体的感知与控制。我们提出AgentHijack，一个旨在评测计算机使用智能体在常见扰动下鲁棒性的基准，其中动态环境中的不确定性会在无直接对抗意图的情况下打断执行流程。具体而言，AgentHijack引入9种可配置的常见扰动来复现真实的不完美场景。我们评测了多种使用基于MLLM智能体的桌面任务，发现即使轻微的扰动也会导致显著的性能下降，这凸显了智能体的脆弱性，并强调鲁棒性评测的必要性。随后我们提出AgentHijack-Agent，该框架集成了具备更强定位（grounding）能力的动作生成器和负责行为总结与环境检查的观察者。大量实验验证了其有效性。我们的代码、环境、基线模型和数据已在https://AgentHijack.github.io公开。
