别再愚弄我了：用经验驱动的推理来适应野外逆境

在机器人技术中，危险和逆境模式通常是特定于实施例的并且与每个代理相关。自主移动机器人技术的前沿是使智能体能够在看不见的非结构化环境中有效运行。在看不见的非结构化环境中，一个重大挑战是可能无法预测特定机器人面临的所有危险。尽管最近的工作已经使用大型基础视觉语言模型（VLM）来先发制人地预测详尽的常识性危险列表，但捕获可能的交互和依赖于实施例的逆境仍然很困难。我们为移动实体提出了一个持续学习框架，可以在线从干扰中学习，并通过语义将异常行为归因于原因，从而能够更好地预测和规划未来的世界。我们的框架“Don’t Fool Me Twice”首先观察干扰并描述它们对机器人的影响；该描述通过视觉上下文进行增强，以查询 VLM 来预测可能的原因；使用核回归来表征局部扰动，从而可以对瞬态异常进行高效、少样本的建模。我们利用以语义体素为中心的模型来估计认知不确定性，通过将交互驱动的干扰视为可学习的空间行为来实现更丰富的下游恢复。我们提出了四种假设，并在模拟和跨实施例和逆境模式的硬件上验证它们。