论文

激发思考:VLA 推理轨迹一致性的运行时监控

Drive the Thoughts: Runtime Monitoring of VLA Reasoning-Trajectory Consistency

AI 基础设施可观测性

摘要

自动驾驶汽车 (AV) 在复杂的环境中运行,故障很严重。用于感知和规划的复杂机器学习模型是克服至少部分复杂性的关键,但其黑盒性质使验证和验证 (V&V) 变得复杂。最近将视觉-语言-动作(VLA)模型集成到自动驾驶汽车中引入了一个独特的机会:除了生成轨迹之外,这些模型还产生一个明确的思想链(CoT)来解释其基本原理。该 CoT 提供了丰富的规范来交叉检查模型输出并检测可能暴露不安全或意外行为的不一致之处。本文评估了最近开放驱动 VLA 中的 CoT 是否可以支持此类监控。我们策划了 DriveAlignBench,这是一个来自 NVIDIA Alpamayo 1.5 VLA 的专用数据集,用于包含 150 个 CoT 轨迹对的自动驾驶汽车,我们手动注释这些数据集的可靠性、轨迹一致性和安全性。我们的分析表明,33.3% 的 CoT 不可靠。在可靠的 CoT 中,74% 的情况下生成的轨迹与 CoT 一致。利用这一潜力,我们建议将 CoT 轨迹一致性检查集成到运行时监视器中。检查并不简单:CoT 表达开放词汇、与场景相关的驾驶承诺,而轨迹是底层自车运动序列,其语义取决于道路几何形状和运动上下文。为了弥补这一差距,我们开发了一系列自动一致性监视器。我们最好的监视器,带有 GPT-5.5 的车道相对 F-LLM,达到了 F1 = 0.75,比最强的原始航路点 LLM 基线提高了 +0.13 绝对 F1,比基于规则的监视器提高了 +0.38。我们在 https://github.com/776styjsu/drive-the-thoughts 上发布了 DriveAlignBench、监视器实现和注释工具。