论文
Plover:经计划中心交互引导GUI智能体
Plover: Steering GUI Agents through Plan-Centric Interaction
摘要
图形用户界面(GUI)自动化在真实环境中仍具挑战:动态布局、意外对话框与演化的界面状态会使自主智能体偏离用户意图。近期基于视觉的多模态智能体通过直接在截图与自然语言指令上操作提升灵活性,但规划与适应常保持内部——限制用户检查、监督或纠正系统行为的能力。我们提出Plover:一个计划中心的基于视觉的GUI自动化系统——把任务计划与重计划外化为持久、可检查、可修订的工件。经规划者—执行者架构:Plover支持对演化执行的显式监督、经可编辑计划的局部修正、自然语言引导与截图落地的干预,同时在修复期间保留既有进度。与六名参与者的形成性研究为交互设计提供依据。随后我们经基准失败案例修复与基于场景的工作流分析评估Plover。结果显示:当计划保持可见且干预局部化时,许多自主GUI智能体失败在结构上可修复;显式重规划有助于使GUI自动化更透明、可控与可适应。
