论文
统一是否要付出代价?Uni-SafeBench:面向统一多模态大模型的安全基准
Does Unification Come at a Cost? Uni-SafeBench: A Safety Benchmark for Unified Multimodal Large Models
摘要
统一多模态大型模型 (UMLM) 将理解和生成功能集成在单个架构中。虽然这种由多模态特征深度融合驱动的架构统一增强了模型性能,但它也带来了重要但尚未充分探索的安全挑战。现有的安全基准主要侧重于孤立的理解或生成任务,无法评估 UMLM 在统一框架下处理不同任务时的整体安全性。为了解决这个问题,我们推出了 Uni-SafeBench,这是一个综合基准测试,对七种任务类型的六大安全类别进行了分类。为了确保严格的评估,我们开发了 Uni-Judger,这是一个能够有效地将上下文安全与本质安全分离的框架。基于对 Uni-SafeBench 的综合评估,我们发现,虽然统一过程增强了模型功能,但它显着降低了底层 LLM 的固有安全性。此外,开源 UMLM 的安全性能比专门用于生成或理解任务的多模态大型模型低得多。我们开源所有资源,以系统地暴露这些风险并促进更安全的 AGI 开发。
