论文
ForesightSafety-VLA:视觉-语言-动作模型的统一诊断安全基准
ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models
摘要
在具身智能中,安全性是在物理世界中可靠部署机器人的先决条件。当前的视觉-语言-动作(VLA)模型继续向通用任务能力迈进,但其具体的安全限制仍然知之甚少。为了弥补这一差距,我们引入了 ForesightSafety-VLA,这是一种诊断基准,使安全性成为 VLA 系统的主要评估目标。我们定义了涵盖物理交互安全(Safe-Core)、指令端安全(Safe-Lang)和感知端安全(Safe-Vis)的13类安全分类法,并在三个受控变化维度(场景结构、语言命令和视觉观察)下评估策略,以便可以诊断故障源,而不是隐藏在单个总分中。除了二元任务成功之外,ForesightSafety-VLA 通过累积安全成本 (CC) 和风险暴露时间 (RET) 以及安全/不安全成功和失败的四象限分解来衡量流程级风险。我们在 RoboTwin 的 5 个实施例中实例化了 66 个安全增强的基本场景,并报告了代表性 VLA 基线的结果。在评估的基线中,即使是最强大的策略也会产生不小的安全成本和不安全的名义成功,而结构和视觉变化会比普通语言变化引起更强的安全降级。这些结果表明,实体安全与感知、定位和控制能力紧密相关,而不是仅仅简化为事后安全过滤。