论文
EMBGuard:构建危险感知护栏以实现实体代理的安全规划
EMBGuard: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents
摘要
部署在现实环境中的由 MLLM 支持的实体代理会遇到物理危险。然而,现有方法缺乏明确的机制来识别危害和推理行动条件风险,导致代理要么错过风险交互,要么过度识别风险。为了解决这个问题,我们提出了 EMBGuard,这是第一个基于 MLLM 的实体代理安全护栏,旨在将物理风险推理与代理策略分离。通过评估(视觉观察、行动)对,EMBGuard 可以识别危险配置并提供潜在风险的自然语言解释。除了 EMBGuard 之外,我们还贡献了 EMBHazard(包含 15.1K 个动作条件对的训练数据集)和 EMBGuardTest(涵盖 7 个物理风险类别的 329 个手动策划的真实场景的基准)。通过危害和行动的组合变化,我们生成了代理在规划过程中可能遇到的各种风险和良性场景。尽管尺寸紧凑(2B、4B),EMBGuard 的性能可与专有 MLLM(例如 GPT-5.1、Gemini-2.5-Pro)竞争,同时显着降低阻碍实时部署的误报率。我们在 https://github.com/dongwxxkchoi/EMBGuard 上公开提供代码、数据和模型