论文
A11y-Compressor：通过视觉上下文重建和减少冗余来提高 GUI智能体 观测效率的框架
A11y-Compressor: A Framework for Enhancing the Efficiency of GUI Agent Observations through Visual Context Reconstruction and Redundancy Reduction
摘要
与图形用户界面 (GUI) 交互的人工智能代理需要有效的观察表示来实现可靠的基础。可访问性树是一种常用的基于文本的格式，用于对 UI 元素属性进行编码，但它存在冗余并且缺乏元素之间的空间关系等结构信息。我们提出了 A11y-Compressor，一个将线性化可访问树转换为紧凑且结构化表示的框架。我们的实现 Compressed-a11y 应用了具有模态检测、冗余减少和语义结构的轻量级结构化转换管道。 OSWorld 基准测试表明，Compressed-a11y 将输入词元减少到原始的 22%，同时将任务成功率平均提高 5.1 个百分点。