具身智能体中高效长视野空间记忆的语言轨迹编码

执行长范围任务的具体代理需要一种内存表示，其中动态对象的状态转换在数小时到数天的观察范围内仍然可以用自然语言进行查询。现有系统要么放弃细粒度运动（剪辑级视频语言嵌入），仅将其保留为原始坐标（几何 SLAM），要么围绕即时任务上下文（代理工作记忆）进行组织。它们都没有为代理提供每个对象的时间线，其状态转换本身可以用语言查询。我们的主要贡献是 \textbf{语言轨迹编码} (LTE)，它通过结合自然语言描述、稀疏空间锚点和视觉锚点的混合表示来压缩动态对象运动历史。 LTE 通过将没有可靠观测值的周期锚定到最后看到的位置来适应运动复杂性的压缩，同时使用几何路径点和语言描述来表示运动以保持准确性。为了在较长的时间范围内评估这些功能，我们根据 EgoLife 多日记录构建了空间内存基准（SMB），针对现有基准中缺少的功能：语义轨迹检索和长范围对象检索。在 SMB 上，基于 LTE 的系统在语义轨迹检索方面取得了 45.3\%$ 的成功，在长视野对象检索方面取得了 48.7\%$ 的成功，优于结构化内存和 VLM 基线（最佳先验：$31.9\%$ 和 $34.4\%$）。 LTE 在 $24$\,h 视频上实现了 $8.7\times$ 到 $26.1\times$ 的轨迹压缩，查询延迟为亚秒级。在 Ego4D 自然语言查询中，系统比 EgoVLPv2 达到 $28.75\%$ / $55.10\%$ R@1/R@5、$+15.80$ / $+31.30$ 点。