ReVision：通过减少时间视觉冗余来扩展计算机使用代理

计算机使用代理（CUA）依赖于图形用户界面的视觉观察，其中每个屏幕截图都被编码为大量视觉标记。随着交互轨迹的增长，词元成本迅速增加，限制了在固定上下文和计算预算下可以合并的历史量。与其他域不同，这导致使用历史记录时的性能没有或非常有限的改进。我们通过引入 ReVision 来解决这种低效率问题，ReVision 用于在轨迹上训练多模态语言模型，其中使用学习的补丁选择器删除冗余视觉补丁，该选择器比较连续屏幕截图中的补丁表示，同时保留模型所需的空间结构。在 OSWorld、WebTailBench 和 AgentNetBench 三个基准测试中，当使用 Qwen2.5-VL-7B 处理具有 5 个历史屏幕截图的轨迹时，ReVision 平均减少了 46% 的词元使用量，同时比无下降基准提高了 3% 的成功率。这建立了明显的效率增益，使代理能够用更少的词元处理更长的轨迹。随着效率的提高，我们重新审视历史在 CUA 中的作用，并发现随着冗余被消除后更多过去的观察结果被纳入，性能不断提高。