ProTracer：本体感觉引导的机器人操作故障诊断

本文提出了一个用于机器人操纵故障分析的综合框架，包括二元故障检测、故障分类、解释生成和故障起始定位的附加功能，旨在识别机器人执行偏离有效任务完成轨迹并最终导致任务失败的最早时刻。为了解决这些任务，我们提出了 ProTracer，这是一个免训练的框架，它利用现有的视觉语言模型（VLM）和本体感受信号进行故障分析。我们的方法使用本体感受动力学来识别时间信息丰富的动作边界，并将更丰富的机器人状态信号转换为结构化的自然语言描述，这些描述可以与 VLM 的视觉观察一起进行联合分析。该设计将本体感受信号的时间精度与现代 VLM 的多模态推理能力结合起来，无需额外的模型训练。我们进一步介绍了 FailTime，这是一个具有同步视觉和本体感觉观察的基准，用于评估传统故障诊断任务以及故障发生定位。实验表明，ProTracer 在传统的故障诊断任务和新引入的故障起始定位任务中均取得了出色的性能，凸显了本体感受推理对于细粒度时间故障分析的重要性。