论文

视觉-语言-动作驱动模型的推理时间注意力引导

Inference-Time Attention Steering for Vision-Language-Action Driving Models

模型评测模型行为与机制分析

摘要

视觉-语言-动作(VLA)驾驶模型将推理阶段与基于扩散的轨迹解码器结合起来,但没有提供一种直接方法,可以在推理时将注意力转向安全关键参与者,而无需重新训练。我们研究了 Alpamayo-R1 的 Qwen3-VL 主干上检测器本地化流量参与者的视觉标记的有界加性 pre-softmax 注意力偏差。它用作故障打开前预钩,重量没有变化。基于物理 AI 世界模型综合数据集的 50 个变道场景。轨迹解码器显示偏置幅度的单调剂量响应,与每个测试幅度的配对零偏置控制分开。其平均位移达到 $\approx 17$\,cm,夹具处的横向位移高达 $\sim 140$\ cm。层消融将与动作相关的信号放置在后面的层中,其中效果随着挂钩层的数量而增加(前 8 层为 2.0 厘米;所有 36 层为 67.6 厘米)。每次调用注入审计解释了为什么因果链文本永远不会改变。基于掩码的偏差永远不会到达该服务堆栈中的推理路径,因此不变性是经过验证的暴露性,而不是鲁棒性。引导轨迹倾向于转向有参与的参与者,这表明偏差控制着模型的外观,而不是编码目标行为。