ChainWorld：从原子OSWorld任务组合长程桌面工作负载

摘要

计算机使用智能体几乎只在原子桌面任务上被评估——但真实桌面工作要求跨多个目标维持状态。我们以ChainWorld研究该缺口——经定向兼容性搜索把原子OSWorld任务组成长程桌面工作负载——同时保留源评估器。所得工作负载含347条长度二到四的链——并比较同一任务序列的两种呈现。单轮评估中——全部任务在一个提示中同时呈现。多轮评估中——任务逐个揭示。跨四个当前计算机使用智能体——最大链完成率31%。多轮评估改进三个模型的完成率——但两种协议都仍充满挑战。两种协议还暴露不同失败画像：单轮失败集中于工件精度——多轮失败更多反映会话管理问题——如碎片化进度与后轮脱岗。

ChainWorld：从原子OSWorld任务组合长程桌面工作负载：论文配图 — 图 1：ChainWorld 工作负载构建和评估概述。该管道从原子 OSWorld 任务开始，在任务对上构建兼容性图，并选择有效的有序链。生成的工作负载实例通过相同的底层任务序列在两个协议中进行评估。单轮评估在一个提示中呈现完整的链，而多轮评估一次显示一个任务，同时保留状态。在面板 3 中，三个条对应于已发布的 GPT 5.5 原子 OSWorld 参考 [16]、单轮 ChainWorld 完成和多轮 ChainWorld 完成。显示原子引用是为了上下文，而不是子集匹配比较。图 2 显示了在两种设置下呈现的具体接受链。