OS-SPEAR：用于 OS 代理的安全性、性能、效率和鲁棒性分析的工具包

多模式 大语言模型 (MLLM) 的发展已将焦点从文本生成转移到主动行为执行，特别是通过操作系统代理导航复杂的 GUI。然而，由于缺乏对安全性、效率和多模式稳健性的严格评估，这些代理转变为值得信赖的日常合作伙伴受到阻碍。当前的基准测试面临着狭窄的安全场景、嘈杂的轨迹标签和有限的鲁棒性指标。为了弥补这一差距，我们提出了 OS-SPEAR，这是一个综合工具包，用于跨四个维度系统分析操作系统代理：安全性、性能、效率和鲁棒性。 OS-SPEAR 引入了四个专门的子集：（1）S（afety）子集，包含各种环境和人类引起的危害； （2）通过轨迹值估计和分层采样策划的P（表现）子集； （3）E（效率）子集，通过时间延迟和词元消耗的双重视角量化性能； (4) R（鲁棒性）子集，将跨模态干扰应用于视觉和文本输入。此外，我们还提供自动化分析工具来生成人类可读的诊断报告。我们使用 OS-SPEAR 对 22 个流行的 OS 代理进行了广泛的评估。我们的实证结果揭示了对当前形势的重要见解：值得注意的是，效率与安全性或稳健性之间普遍存在的权衡、专用代理相对于通用模型的性能优势，以及不同模式之间不同的稳健性漏洞。通过提供多维排名和标准化评估框架，OS-SPEAR 为开发下一代可靠且高效的操作系统代理提供了基础资源。数据集和代码可在 https://github.com/Wuzheng02/OS-SPEAR 获取。