论文

特工崩溃:乐于助人的特工铺就了地狱之路

Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents

模型评测安全与风险评测

摘要

使用计算机和网络进行操作的代理不可避免地会遇到错误:无法访问网页、丢失文件、本地和远程配置错误等。这些错误不会阻碍基于最先进模型的代理。他们继续寻找完成任务的方法,很有帮助。我们引入、描述和测量一种新型的代理故障,我们称之为\emph{意外崩溃}:在没有任何对抗性输入的情况下,响应良性环境错误的不安全或有害行为。由于现有的可靠性或安全基准无法捕获熔毁,因此我们开发了熔毁行为分类法。然后,我们实现一个与代理无关的基础设施,用于将模拟的本地和远程错误注入到部署环境中,并使用它来系统地评估由 GPT、Grok 和 Gemini 提供支持的代理系统。我们的评估表明,在遇到模拟错误的代理部署中,有 64.7% 发生了不同严重程度和成功率的崩溃(例如,进行未经授权的侦察或破坏访问控制),涵盖代理系统、支持模型和错误类型的所有组合。在超过一半的崩溃中,不安全行为没有向用户报告。比较相同代理在有错误和没有错误的情况下的行为,我们发现针对错误的探索与不安全和有害的行为相关。