论文
PersonaTester:以不同用户画像扩展GUI测试行为
Towards Automated Crowdsourced Testing via Personified-LLM
摘要
软件的快速增长和复杂性的增加需要强大的质量保证,而图形用户界面(GUI)测试发挥着关键作用。事实证明,众包测试在这种情况下是有效的,它可以利用人类测试人员的多样性,在不同的设备、用户行为和使用环境中实现丰富的、基于场景的覆盖。与此同时,自动化测试,特别是随着 大语言模型 (LLM) 的出现,在可控性、可重复性和效率方面提供了显着的优势,从而实现了可扩展和系统的探索。然而,自动化方法通常缺乏人类测试人员的行为多样性特征,限制了他们完全模拟现实世界测试动态的能力。为了解决这一差距,我们推出了 PersonaTester,这是一种基于拟人化 LLM 的新型框架,旨在自动化众包 GUI 测试。通过将沿着三个正交维度定义的代表性角色(测试心态、探索策略和交互习惯)注入到基于 LLM 的代理中,PersonaTester 能够以可控和可重复的方式模拟各种类人测试行为。实验结果表明,PersonaTester 忠实地再现了真实众包工作者的行为模式,表现出很强的角色内部一致性和明显的角色间变异性(较基线提高了 117.86% - 126.23%)。此外,与没有角色的基线相比,角色引导的测试代理始终会生成更有效的测试事件,并触发更多的崩溃(100+)和功能错误(11),从而大大提高了自动化众包 GUI 测试的真实性和有效性。