ScreenSearch：不确定性感知操作系统探索

桌面 GUI智能体 在部分可观察性下运行：视觉上相似的屏幕可以对应不同的底层工作流程状态，因此局部合理的操作可能会导致截然不同的结果。我们将此视为计算机/操作系统状态探索的问题，其中有效的行为需要扩大可到达的边界并在提交之前减少歧义。我们推出了 ScreenSearch，这是一个将结构屏幕检索和重复数据删除与模糊性感知 PUCT 图强盗相结合的系统，用于大规模桌面探索。检索层将 UIA 树转换为位置感知的结构特征，通过稀疏标记搜索和元数据过滤器对相关屏幕进行索引，并在 VM 工作线程之间维护共享的重复数据删除状态图。在此图的顶部，我们定义了一个基于匹配动作结果离散度的可扩展模糊信号。如果类似的屏幕在相同的操作签名下产生不同的下一个状态，则应进一步探测该状态而不是视为已解决。我们将此信号与前沿奖励一起使用，以推动共享图上的大规模探索和重放启动策略评估。 ScreenSearch 在 11 个桌面应用程序中收集了超过 100 万张屏幕截图和超过 30K 个重复数据删除状态，产生了具有大量跨应用程序和应用程序内多样性的大型探索语料库。在固定的重播开始片段上，我们观察到一个明显的新颖性——模糊性权衡：一些策略快速减少模糊性，同时发现很少的前沿。因此，仅减少歧义并不足以作为探索目标。附录删减表明，更强的提案先验可以在语料库构建过程中实质性地改善独特状态的发现。这些结果表明，在决定何时进行调查和何时提交时，状态身份、提案质量和模糊性搜索都很重要。