ExploreAI：用于黑盒 VR 和 3D 应用程序的可重复可观察回归测试的代理探索知识库

黑盒 VR 和 3D 应用程序很难进行回归测试，因为可观察到的故障取决于测试人员移动的位置、可见的对象以及捕获的视图。手动探索性测试可以发现此类故障，但重现其证据非常耗时；系统性扫描是可重复的，但缺乏语义指导，并且将探索预算花费在低价值的观点上。我们观察到，LLM 可以做出人类测试人员在探索过程中做出的高级决策：解释任务、选择要检查的对象、对相关对象进行分组、记录所看到的内容以及决定何时缺少证据应该触发另一次尝试。基于这一观察，我们提出了 ExploreAI，这是一个 LLM 驱动的代理框架，可将重复感知、导航、多视图捕获执行和日志记录转移到专用模块，同时使用 LLM 进行规划、证据记录、捕获策略决策和验证决策。 ExploreAI 构建了一个探索知识库 (EKB)：一次探索运行的结构化、按对象记录。对于代理找到的每个对象，EKB 都会存储暴露该对象的扫描证据、选定的目标、导航路径、多视图捕获和自我验证结果。 EKB 是一个可重用的测试工件，支持跨 VR 或 3D 应用程序版本进行可重复的可观察回归检查。在 Unity、AI2-THOR 和 BeamNG 中的六个室内和室外场景中，ExploreAI 在完整和目标探索下构建了高完整性的 EKB，并且 LLM 模块消融显示了语义规划、捕获策略、证据记录和自我验证的贡献。复制试点进一步表明，EKB 引导的跟踪可以帮助人类和基于 LLM 的复制者比没有 EKB 上下文的条件更有效地复制精确的对象视图证据。