论文
SafeRelBench:VLM 驱动的具体代理中进程级安全的空间关系感知基准
SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents
摘要
视觉语言模型 (VLM) 越来越多地用作实体代理的推理支柱,使机器人能够解释视觉场景、遵循语言指令并规划多步骤动作。然而,在家庭环境中,安全不仅取决于识别物体,还取决于动作如何随着时间的推移改变物理场景。现有的体现安全评估主要关注静态风险识别、不安全指令拒绝或最终状态任务完成。因此,由支持、遏制和邻近等空间关系引起的过程级安全故障的研究仍然不够。为了解决这一差距,我们引入了 SAFERELBENCH,这是一种空间关系感知安全基准,具有 507 个可执行评估样本,其中包括 248 个空间关系样本和 259 个非空间控制样本。使用 SAFERELBENCH 评估七个开源和闭源 VLM 驱动的实体代理,我们发现任务成功与流程级安全合规性之间存在巨大差距:模型通常在违反流程级安全约束的同时完成所请求的任务。与之前的基准不同,SAFERELBENCH 在容易发生风险的行动之前明确测试主体是否满足安全条件,使空间关系成为体现安全评估的核心维度。更广泛地说,我们的结果表明,安全的具身智能不仅需要更强的感知和规划,还需要对交互过程中客体关系如何塑造风险进行可靠的推理。