论文

哪里出了问题?视觉和语言导航代理的面向能力的故障归因

Where Did It Go Wrong? Capability-Oriented Failure Attribution for Vision-and-Language Navigation Agents

智能体系统Agent任务评测

摘要

视觉语言导航(VLN)等安全关键应用中的实体代理依赖于多种相互依赖的功能(例如感知、记忆、规划、决策),使得故障难以定位和归因。现有的测试方法主要是系统级的,对于哪些能力缺陷导致任务失败的了解有限。我们提出了一种面向能力的测试方法,通过结合以下方式实现故障检测和归因:(1)通过种子选择和突变生成自适应测试用例,(2)用于识别特定于功能的错误的能力预言机,以及(3)将故障归因于功能并指导进一步测试生成的反馈机制。实验表明,与最先进的基线相比,我们的方法发现了更多的失败案例,并且更准确地查明了能力水平的缺陷,为改进实体代理提供了更具可解释性和可操作性的指导。