通过丰富的语义事件链进行神经符号操作理解

在人类环境中运行的机器人系统必须推理对象交互如何随时间演变、当前正在执行哪些操作以及可能遵循哪些操作步骤。经典的丰富语义事件链（eSEC）提供了操作的可解释的关系描述，但仍然主要是描述性的，并且不直接支持不确定性感知决策。在本文中，我们提出了 eSEC-LAM，这是一种神经符号框架，可将 eSEC 转换为明确的事件级符号状态以进行操作理解。所提出的公式通过置信感知谓词、功能对象角色、可供性先验、原始级别抽象和显着性引导解释线索增强了经典 eSEC。这些丰富的符号状态是通过确定性谓词提取从基于基础模型的感知前端导出的，而当前动作推理和下一个原始预测是使用对原始前置条件和后置条件的轻量级符号推理来执行的。我们在 EPIC-KITCHENS-100、EPIC-KITCHENS VISOR 和 Assembly101 上评估了所提出的框架，涵盖动作识别、下一个基元预测、感知噪声的鲁棒性和解释一致性。实验结果表明，eSEC-LAM 实现了竞争性动作识别，显着改善了下一个原始预测，在感知退化的条件下比经典符号和端到端视频基线更稳健，并提供基于明确关系证据的时间一致的解释轨迹。这些发现表明，丰富的语义事件链不仅可以作为操作的可解释描述符，还可以作为神经符号动作推理的有效内部状态。