OctoNest：通过状态控制进行自适应跨设备执行

计算机使用代理正在从单设备操作扩展到跨设备系统，跨异构环境协调任务。执行条件通常在计划时仅部分已知，并通过交互揭示。故障可能需要设备内模态切换或设备间重新分配；未能区分这些情况可能会导致重复失败或提前终止。然而，现有系统主要是扩展单设备代理，而没有充分区分设备级别和特定于模态的执行条件。我们提出了 OctoNest，它协调有状态的跨设备编排和迭代设备本地模态控制。设备代理完善子任务并选择模式，而协调器则使用执行反馈来修改计划和设备分配。我们还引入了 CAPEBench，其中包含来自 23 个跨设备种子任务的 158 个实例，并具有受控扰动。 OctoNest 领先所有三个质量指标，将完美通行证比最强基线提高了 18.35 个百分点，并将每次完美通行证的词元成本降低了 39.8%。进一步的分析支持局部细化和全局修订的互补作用，并证明 CAPEBench 在不断变化的执行条件下区分控制限制的能力。