通过 LLM 支持的移动应用 UI Tarpit 转义改进随机测试

随机 GUI 测试是一种广泛使用的移动应用测试技术。然而，它的有效性受到臭名昭著的问题——UI 探索柏油坑的限制，其中探索被困在本地 UI 区域，从而阻碍了测试覆盖率和错误发现。在这篇经验论文中，我们介绍了 LLM 支持的随机 GUI 测试，这是一种新颖的混合测试方法，可在随机测试期间减轻 UI tarpits。我们的方法监视 UI 相似性以识别 tarpit 并查询 LLM 以建议有希望的事件来逃离遇到的 tarpit。我们在移动应用程序的两种不同的自动输入生成（AIG）工具之上实施我们的方法：（1）HybridMonkey on Monkey，一种最先进的工具； (2) 基于 Droidbot 的 HybridDroidbot，这是一种最先进的工具。我们在 12 个流行的真实应用程序上对它们进行了评估。结果表明，HybridMonkey 和 HybridDroidbot 的性能优于所有基准，分别实现了 54.8% 和 44.8% 的平均覆盖率改进，并检测到了最高数量的独特崩溃。我们总共发现了 75 个独特的错误，其中包括 34 个以前未知的错误。迄今为止，已确认并修复了 26 个错误。我们还在微信上应用了 HybridMonkey，这是一款流行的工业应用程序，每月有数十亿活跃用户。与随机测试相比，HybridMonkey 实现了更高的活动覆盖率并发现了更多错误。