论文
TRACE:轨迹稳健的准入和证据排序以实现高效 GUI智能体
TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents
摘要
GUI智能体 随着轨迹的展开积累高分辨率屏幕截图,增加推理延迟和内存使用量。 无需训练 视觉词元修剪可以降低此成本,但缓存重用引入了基本约束。一旦词元被丢弃,不重新编码就无法恢复相应的视觉证据。因此,修剪成为一种 \textit{不可逆转的准入决策},必须对未知的未来目标保持有用,同时在预算紧张的情况下保留可操作区域的覆盖范围。为了应对这些挑战,我们提出了 \textbf{\method{}},一个用于 \emph{\textbf{T}rajectory-\textbf{r}obust \textbf{A}dmission 和 \textbf{C}overage-aware \textbf{E}vidence ordering} 的 无需训练 框架。具体来说,我们将独立于查询的布局衍生的交互先验与指令相关性和特征新颖性结合起来,根据潜在的未来效用和多样性对视觉证据进行排名。然后,我们为分布在屏幕上的原生视觉标记保留部分预算,在不破坏顺序的情况下修复缺失的空间覆盖。这些机制共同产生了嵌套的词元顺序,允许保留的视觉证据在预算中单调收缩,同时在整个轨迹中保持可重用性。最后,我们的单调 KV 收缩逐渐将退休帧收缩为紧凑会话状态,避免重复的视觉编码或修剪。跨越六个 GUI 基准和不同模型的广泛实验验证了我们提出的\方法{}在预算紧张的情况下的有效性。源代码将被发布。