用于动态视觉语言导航的从慢速推理器到快速规划器的词元明智潜在流

在动态的、以人为中心的环境中，视觉语言导航暴露了一种根本性的张力：语言推理是缓慢的、深思熟虑的，而安全的、符合社会要求的规划应该是即时的、反应性的。由此产生的观察陈旧性对于安全至关重要：在推理过程中选择的操作在执行时可能已经不安全了。我们观察到，早在 VLM 完成推理之前，其中间隐藏状态就已经编码了与动作相关的意图。我们提出了 SPARK-VLN，这是一种用于动态社交 VLN 的双系统框架，可在整个词元生成过程中将缓慢的 VLM 推理器的知识传输到快速的流匹配专家规划器，从而在推理过程中提供新鲜且不断发展的指导。该设计由三个模块实现：一个 Token-Wise Hidden Streamer，用于提取词元生成过程中的中间隐藏状态；一个 Sequence-to-Slot Latent Bridge，将它们投射到固定大小的潜在槽中；以及一个 Evolving Latent Conditioner，将它们注入到专家规划器中。我们还引入了一个以人为中心的基准套件，用于动态社交视觉语言导航，使行人和机器人在整个推理过程中保持活跃，并报告导航成功、社会合规性、人类碰撞和明确的过时统计数据。在这些设置中，SPARK-VLN 提高了导航成功率和社会合规性，同时保持推理效率。网页：https://hutslib.github.io/SPARK-VLN/。