指令即状态：用于体现导航的环境引导和状态条件语义理解

视觉和语言导航要求代理在视觉变化的环境中遵循自然语言指令。一个核心挑战是语言和观察之间的动态纠缠：指令的含义随着代理视野和空间背景的演变而变化。然而，许多现有模型将指令编码为静态全局表示，限制了它们将指令含义适应当前视觉上下文的能力。因此，我们将指令理解建模为指令即状态变量：与决策相关的 词元级 指令状态，根据代理的感知状态逐步演化，其中感知状态表示每一步基于观察的导航上下文。为了实现这一原理，我们引入了状态纠缠环境引导指令理解（S-EGIU），这是一个用于状态条件段激活和 词元级 语义细化的从粗到细的框架。在粗略层面，S-EGIU 激活其语义与当前观察结果一致的指令段。在精细层面上，它通过观察引导的标记基础和上下文建模来细化激活的片段，在当前观察下锐化其内部语义。这些阶段共同维护一个指令状态，该状态根据代理在导航过程中的感知状态不断更新。 S-EGIU 在多个关键指标上提供了强大的性能，包括在 REVERIE Test Unseen 上实现了 +2.68% 的 SPL 增益，并在多个 VLN 基准测试中展示了一致的效率增益，强调了动态指令感知纠缠的价值。