论文

统一是否要付出代价?Uni-SafeBench:面向统一多模态大模型的安全基准

Does Unification Come at a Cost? Uni-SafeBench: A Safety Benchmark for Unified Multimodal Large Models

模型评测基准与评测资源

摘要

统一多模态大型模型 (UMLM) 将理解和生成功能集成在单个架构中。虽然这种由多模态特征深度融合驱动的架构统一增强了模型性能,但它也带来了重要但尚未充分探索的安全挑战。现有的安全基准主要侧重于孤立的理解或生成任务,无法评估 UMLM 在统一框架下处理不同任务时的整体安全性。为了解决这个问题,我们推出了 Uni-SafeBench,这是一个综合基准测试,对七种任务类型的六大安全类别进行了分类。为了确保严格的评估,我们开发了 Uni-Judger,这是一个能够有效地将上下文安全与本质安全分离的框架。基于对 Uni-SafeBench 的综合评估,我们发现,虽然统一过程增强了模型功能,但它显着降低了底层 LLM 的固有安全性。此外,开源 UMLM 的安全性能比专门用于生成或理解任务的多模态大型模型低得多。我们开源所有资源,以系统地暴露这些风险并促进更安全的 AGI 开发。

统一是否要付出代价?Uni-SafeBench:面向统一多模态大模型的安全基准
图 1. 统一与安全的权衡。开源统一模型实现了跨不同任务的多功能性,但与 VLM 和 Gemini 相比,存在显着的安全差距。 (‘ × \times ’:没有文本引导图像编辑功能的部分统一模型)散点图显示不同模型类型的统一能力和安全分数之间的权衡