论文
语言何时重要?多语言指令揭示了视觉-语言-动作模型中逐步的语言敏感性
When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models
摘要
视觉-语言-动作(VLA)模型在语言调节的机器人操作中表现出了强大的性能,但它们对语言变化的鲁棒性仍然知之甚少。在这项工作中,我们通过将 LIBERO 基准翻译成十种语言,首次对 VLA 模型进行了系统的多语言评估,揭示了非英语指令下性能严重下降,成功率下降了 30-50%。通过对任务执行的细粒度分析,我们发现语言影响在各个步骤中高度不均匀:某些步骤表现出强烈的语言依赖性并主导整个任务失败,而其他步骤则很大程度上与语言无关。基于这一见解,我们提出了一种逐步推理时间干预,根据逐步语言敏感性来对齐表示,从而显着提高语言变化下的性能。我们的结果表明,VLA 模型中的语言鲁棒性从根本上来说是一个逐步控制问题,凸显了时间结构化分析对于可靠的具体代理的重要性。