论文
BIT-Nav:用于实体导航的受大脑启发的轨迹记忆
BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation
摘要
用于实体导航的视觉语言模型(VLM)依赖于从不断增长的轨迹历史中选择固定数量的帧。随着剧集的延长,这种选择变得越来越稀疏,但之前的工作表明,从 8 帧扩展到 64 帧时,精度没有提高,这表明瓶颈不是帧数量,而是表示本身。稀疏帧选择无法捕获长视野推理所需的结构化行为信号:转弯模式、累积位移和路径拓扑。我们引入了 BIT-Nav(脑启发轨迹记忆导航),这是一个框架,可以通过紧凑的学习轨迹记忆来增强冻结的 VLM 导航管道。受海马路径整合的推动,空间体验被压缩成结构化的情景轨迹,而不是存储为原始感官重放,BIT-Nav 通过共享相同行为意图的轨迹前缀上的多正 InfoNCE 对比目标,训练 Bi-GRU 编码器的动作和相对姿势序列。由此产生的嵌入通过轻量级 MLP 投影到 VLM 词元空间中,并在每个决策步骤中作为单个内存词元注入,以恒定词元成本将模型调节到结构化运动历史,而不管情节长度如何