论文
GUI Agent内存的动作条件双向模拟
Action Conditioned Bisimulation For GUI Agent Memory
摘要
记住它在网页上所做的事情的Agent必须决定何时两个页面算作相同。建立在观察相似性基础上的记忆合并了看起来相似但行为不同的页面,GUI 中充满了这样的页面:一个小部件的两个选项卡或一个菜单的两行以不同的方式响应相同的点击。我们将合并规则定义为对冻结Agent在其行为时填充的经验预测状态图的动作条件互模拟。只有当两个状态的共同行动导致一致的结果和在可供性标签下的后继区块时,两个状态才会合并。观察相似性永远不会进入规则,并且不会进行任何训练。它取代了现有结果值记忆的合并规则,因此闭环比较将其隔离。在 MiniWoB++ 上,它比无记忆Agent提高了成功率,而采用相同探索性弯路的控制、先前的后继表示合并以及没有动作条件的相同标准没有任何改变。