CutVerse：媒体后期制作编辑的组合 GUI智能体 基准

虽然 GUI智能体 在网络导航和基本操作系统任务方面取得了重大进展，但其在专业创意工作流程中的功能在很大程度上仍未得到充分开发。为了弥补这一差距，我们引入了 Cutverse，这是一个旨在系统地评估现实媒体后期制作环境中的自主 GUI智能体 的基准。我们策划了 7 个专业应用程序（例如 Premiere Pro、Photoshop）的专家演示，涵盖基于真实编辑工作流程的 186 个复杂的长期任务，涉及密集的多模式界面和紧密耦合的交互序列。为了支持可扩展的评估，我们开发了一个轻量级解析器，将原始屏幕记录和低级交互日志转换为具有精确基础的结构化、组合式 GUI 动作轨迹。广泛的评估表明，现有代理在现实媒体编辑任务中仅取得了 36.0% 的任务成功率，这凸显了我们的基准中复杂的、长期的媒体后期制作工作流程所带来的挑战。虽然当前的模型展示了有希望的空间基础、多模式对齐和协调的行动执行，但它们在长期可靠性和特定领域规划方面仍然受到限制。