论文
TGIT:为冻结的空中导航Agent翻译用户意图指令
Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
摘要
空中视觉语言导航(VLN)Agent通常在细节丰富、与轨迹对齐的指令上训练,而用户往往给出简短、表达意图的指令。在冻结的OpenFly导航器上,这种“指令差距”使成功率(SR)从31.03%降至11.33%。为扩大翻译器训练数据,我们向语言模型提供人工编写的风格示例,将原始指令转换为成对的、以意图为中心的Weak指令,其成功率为15.27%。我们提出轨迹引导指令翻译器(TGIT):这一前端保持导航器冻结,通过学习导航轨迹的结果,把Weak输入转换为Agent可执行的指令。以Weak指令训练的翻译器将Weak输入成功率提高到37.93%,并零样本迁移至真实人工指令,使成功率从11.33%提高到32.51%;在留出的OpenFly测试集上,成功率从4.95%提高到20.79%,也在CityNav和AirVLN上实现了性能恢复。