AV-SafetyBench：文本转音频视频生成的安全基准

最近的文本到音频视频（T2AV）模型从单个文本提示联合生成视频、语音、声音效果和氛围。这种能力给安全评估带来了新的挑战，因为不安全的内容可能通过音轨传达，或者只有在视觉和音轨共同解释时才会出现。现有的安全基准主要集中于生成的视频或单独生成的音频，因此并非旨在捕获这些风险。为了缩小这一差距，我们推出了 AV-SafetyBench，这是第一个专为 T2AV 一代开发的安全基准。 AV-SafetyBench 包含四轴、13 类分类法和 5,200 个手动审核的提示，指定视觉场景、语音和非语音音频。我们的评估协议在三个视图下评估每个输出：全视听、仅视频和仅音频。然后，它使用“仅视频”和“仅音频”判断将全 AV 不安全输出分配给四个风险源之一：“仅视频”、“仅音频”、“AV 两者”或“AV 联合”。我们评估了五个开源 T2AV 模型，并根据人类注释验证了自动 Full-AV 判断。在这五个模型中，全 AV 不安全率范围为 25.1% 到 49.4%。除了这些总比率之外，风险源分析显示，对于五种模型中的四种，纯音频和 AV 联合案例（纯视频评估错过的不安全输出）占可分配风险源的全 AV 不安全输出的 41.6-48.3%。在跨模式危害出现类别中，AV-Joint 占指定风险源不安全输出的 87.5%。总之，这些发现证明了 AV-SafetyBench 在跨视觉和音频方式及其交互评估 T2AV 安全性方面的价值。