论文
LIBERO-安全:视觉-语言-动作模型中物理和语义安全的综合基准
LIBERO-Safety: A Comprehensive Benchmark for Physical and Semantic Safety in Vision-Language-Action Models
摘要
尽管视觉-语言-动作(VLA)模型具有令人印象深刻的操控能力,但其在严格约束下的操作安全性在很大程度上仍未得到验证。为了解决这个问题,我们引入了参数安全基准,以程序方式生成具有全面随机性的安全关键场景。为了克服人类远程操作的可扩展性瓶颈,我们开发了一种新颖的键驱动数据生成管道。利用这一基础设施,我们整理了一个包含 19,664 个严格无碰撞演示的大规模数据集,并具有广泛的域随机化。然后,我们对八个 VLA 和两个具体基础模型进行系统的跨范式评估。我们的分析揭示了一种关键的泛化安全张力:尽管高多样性训练促进了更安全的轨迹,但任务成功仍然从根本上受到次优轨迹合成和语义错位的瓶颈。通过提供可扩展的管道、强大的数据集和深刻的故障模式见解,LIBERO-Safety 为开发安全可靠的 VLA 模型奠定了重要基础。