论文

JarvisGUI:动态组合跨设备GUI工作流的基准

JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition

智能体系统Agent任务评测

摘要

真实GUI使用经常跨越多设备和平台,需要传递中间结果、维护共享状态并协调异构环境。但现有基准大多评估单设备静态任务,几乎未检验跨设备能力,因而可能过于乐观地判断Agent的实际可用性。我们提出动态基准JarvisGUI,评估需要在Android、Windows和Ubuntu等异构平台协同交互的GUI工作流。JarvisGUI以轻量类型系统将任务表示为输入输出变换,从而自动组合多步跨设备流程,在统一框架中动态评价表现。跨操作系统虚拟环境的测试表明,先进开源GUI智能体在真实流程所需的状态传递意识、跨平台上下文推理和长程依赖管理上仍有困难,揭示现有基准看不到的关键能力缺口。