训练计算机使用代理来评估图形用户界面的可用性

与专家和潜在用户一起进行可用性测试可以评估图形用户界面 (GUI) 的有效性、效率和用户满意度，但这样做仍然是一个成本高昂且耗时的过程。之前的工作使用了计算机使用代理（CUA）和其他可以模拟用户交互和偏好的生成代理，但我们表明代理仍然难以提供准确的可用性评估。在这项工作中，我们提出了一种新颖的机器学习方法，该方法可操作可用性的计算定义，以训练 CUA 来评估 GUI 可用性，方法是：i）优先考虑重要的交互流程，ii）通过类人交互执行它们，以及 iii）预测学习到的数字可用性分数。我们使用我们的算法在与可用性标签和人类偏好配对的完全交互式用户界面 (UI) 的大规模数据集上训练计算机使用代理 uxCUA。我们证明 uxCUA 在准确的可用性评估方面优于更大的模型，并对合成和真实 UI 产生现实的批评。更广泛地说，我们的工作旨在为人机交互中的自动化可用性评估建立一个有原则的、数据驱动的基础。