融合 UI 结构和语义以实现面向功能的应用程序屏幕检索和聚类

由于代码和图形软件表示之间复杂的抽象差距，用户界面 (UI) 编程具有挑战性。为了弥补这一差距，UI 编程工具通常依赖于屏幕检索和聚类，这需要基于重叠特征的准确相似性度量。然而，计算面向特征的相似性很困难，因为具有相似功能的屏幕通常会表现出设计变化。为了解决这个问题，我们提出了 FRAME（带有图形结构压缩的强化用户界面屏幕嵌入），这是一种多模态、神经符号嵌入技术。 FRAME 构建 UI 组件的基于符号的、基于图形的表示，以编码显着关系并捕获不同屏幕上的特征模式。它利用大型视觉语言模型进行视觉和词汇编码，以及一种新颖的特定于 UI 的计算几何算法，可实现加权嵌入传播。在三个基准测试中，FRAME 在搜索方面的 MRR 优于强基线高达 13%，在聚类准确度方面优于强基线 7.6 个百分点。全面的消融研究进一步证实了每个组件的优势，展示了 FRAME 在增强自动化 UI 设计和测试工具方面的潜力。