论文

ROBOSHACKLES:具体基础模型中用于预防人体伤害的安全数据集

ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models

模型评测基准与评测资源

摘要

体现基础模型 (EFM) 集成了多模式理解、未来状态推理和可执行的机器人动作。然而,它们在预防人类伤害方面的安全一致性仍未得到充分探索,主要是因为无法安全或合乎道德地收集机器人伤害人类或造成危险家庭情况的真实数据。为了应对这一挑战,我们提出了一种安全关键的数据构建管道,用于 EFM 中的人体伤害预防。从真实的 DROID 观察开始,我们的构建管道通过场景理解、危险感知图像编辑、临时提示生成和单通道转出合成进行。时间提示指定了预期的场景演变,而 Wan2.7 则通过单次编辑的危险状态合成了真实的机器人滚动。使用此管道,我们构建了 ROBOSHACKLES,这是一个源自真实 DROID 观察的 10,000 个剪辑机器人视频数据集,涵盖两个直接伤害和四个间接伤害类别。为了确保数据集质量,我们使用自动指标评估任务完成情况和视觉质量,并根据基于拒绝的安全标准评估六个代表性的 EFM。结果表明,所有评估的模型在测试的安全关键场景中都会产生不安全动作,产生 100% 的不安全动作生成率。 ROBOSHACKLES 是一个可扩展的基准和训练资源,用于在机器人执行动作之前进行拒绝学习和危险预测。该数据集可在 https://huggingface.co/datasets/YZW00/RoboShackles 上公开获取。