超越像素差异：Web UI 视觉回归测试的图像更改字幕基准测试

视觉回归测试（VRT）是现代软件发布管道中的标准质量保证步骤。每次更改时，它都会重新渲染用户界面 (UI) 屏幕截图，将每个屏幕截图与批准的基线图像进行比较，并将任何检测到的差异发送给人工审核员，由人工审核员决定这是有意的更新还是无意的回归。一种广泛使用的方法，特别是在开源和持续集成管道中，是像素级比较，它在语义上是盲目的，并且相同地处理渲染噪声和真正的缺陷，产生大量误报，迫使开发人员和测试人员花费大量时间和精力在每个发布周期手动检查标记的差异。行业工具将机器学习应用于VRT，但缺乏公众评估。更关键的是，不存在支持 UI 更改的自然语言描述的数据集或基准，这种功能可以告诉测试人员文字发生了什么变化，而不是让他们解释二进制标志或突出显示的区域。为了解决这一差距，我们提出了一项新任务：Web UI 图像更改字幕 (WUICC)，它位于 VRT 和图像差异字幕 (IDC) 的交叉点，并发布了 WUICC-bench，这是该任务的第一个数据集和基准。我们评估了 11 种代表性 IDC 方法，以及两种零样本通用 LLM。我们发现：(1) 由于 Web UI 领域的布局多样性、密集文本和细粒度变化，这些方法往往在 Web UI 领域中举步维艰，(2) 然而，经过训练的方法已经比 VRT 所依赖的像素级比较更有选择性地抑制无意义的视觉噪声，为未来特定领域的研究提供了坚实的基础。