从 GUI 测试到对话交互：特定于应用程序的语音助手的新视角

语音助手广泛部署在移动平台上，但大多数都被设计为系统级服务，与特定于应用程序的行为仍然不太一致。因此，在应用层面实现语音交互需要开发者手动重新实现应用逻辑，导致开发和维护成本高昂。我们提出了一种 LLM 驱动的方法，通过重新利用 GUI 测试代码来自动开发特定于应用程序的语音助手，该代码对应用程序功能的行为保留、可执行规范进行编码。在本文中，我们提出了一个观点，其中 大语言模型 将 GUI 测试重新解释为应用程序行为和会话交互之间的桥梁。通过将测试方法转换为特定于应用程序的 VA 工件，例如语音意图、功能描述和可执行的行动计划，我们的方法将语音助手直接基于现有的应用程序逻辑而不是外部规范。我们通过 AppVA（Android 上的一个研究原型）来说明这一愿景。我们对五个开源应用程序的初步结果表明，GUI 测试代码可以在测试之外重用，从而能够合成特定于应用程序的语音助手，并在软件测试、交互设计和支持 LLM 的自动化的交叉点上突出更广泛的研究方向。