LASAR：利用潜在认知图进行时空推理

嵌入式人工智能的一个基本挑战是验证智能体是否构建了空间结构的内部模型，或者只是学习模仿特定任务的专家轨迹。这一点至关重要，因为植根于以行动为中心的任务（例如 VLN）和以推理为中心的任务（例如，EQA）的基础方法通常有一个共同的局限性：它们缺乏迫使它们在长期、碎片化的体验中编码细粒度空间关系（如拓扑或距离）的学习信号。为了解决这个问题，我们首先提出 LASAR，这是一种具有双内存系统的架构，旨在维护情景体验和语义认知图。然后，我们介绍时空上下文表示学习（ST-CRL），这是一个旨在训练该架构的对比目标。 ST-CRL 利用模拟中带注释的时空上下文生成的认知查询中的时空线索来构建样本对，从而根据代理的经验形成内部认知图。实验表明，我们的方法在标准 VLN-CE 和 VSI-Bench 基准测试上的零样本泛化方面均实现了 2%-3.5% 的增益。我们还证明我们提出的认知图具有高度的自我一致性。