论文

CockpitHAT:具身多Agent驾驶舱中依赖图驱动的分层归因

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

智能体系统Agent任务评测

摘要

多智能体系统LLM遭受正确性崩溃,高任务级准确度掩盖了严重的过程级失败。特别是在安全关键的执行环境中,如汽车驾驶舱,流畅的文本输入可能引发危险的操作。现有的解释方法依赖于文本线索,缺失依赖结构、多通道证据和安全评估。我们引入了CockpitHAT,这是一种层级解释框架,用交互图的依赖距离阈值替换位置窗口,通过体感适配器集成多通道证据,并在信心加权的专家共识中应用安全提升,以应对高风险失败。我们进一步发布了CockpitBench,这是一个212个标注的失败轨迹的基准,覆盖对话、车辆状态、环境和记忆通道,每个通道都通过三专家共识标注ISO 26262 ASIL严重性。在公开的Who&When基准测试中,CockpitHAT在Hand-Crafted split上达到77.9%的代理级/步准准确度和37.8%的专家共识准确度,在Algorithm-Generated split上达到86.5%的代理级/步准准确度和46.0%的专家共识准确度,超越了仅依赖文本的SOTA ECHO,最多提升17.6 / 16.7个百分点。在CockpitBench上,它达到78.3%的代理级准确度和38.2%的步准准确度。这些结果表明,依赖结构、多通道证据和风险校准的解释在现实世界的执行环境中可靠地诊断失败,为多智能体系统提供了一个有效的解决方案。

CockpitHAT:具身多Agent驾驶舱中依赖图驱动的分层归因:论文配图
图1:多智能体失败轨迹的依赖图示意。流程读取 CockpitBench 中带角色标签的轨迹,构建按直接、局部、远距、全局四级距离划分的依赖图。对于具身场景,具身通道适配器判断是否需要提升层级,并相应细化分层上下文。随后,多名分析者通过加强安全考量的共识机制,生成关于智能体及步骤准确性、失败类别和 ASIL 级别的最终报告。