论文
Omni-Fake:统一多模式社交媒体 Deepfake 检测基准测试
Omni-Fake: Benchmarking Unified Multimodal Social Media Deepfake Detection
摘要
多模式深度伪造在社交媒体上激增,威胁到真实性、信息完整性和数字取证。现有的基准受到单一模态范围、简化操作或不切实际的分布的限制,这限制了它们评估现实世界稳健性的能力。为了解决这些限制,我们推出了 Omni-Fake,这是一个统一的全数据集,用于在社交媒体环境中进行全面的多模式深度伪造检测。它包括 Omni-Fake-Set(一个包含超过 100 万个样本的大规模高质量数据集)和 Omni-Fake-OOD(一个分布外基准,包含超过 20 万个样本,有意从训练中排除以评估泛化能力)。 Omni-Fake 涵盖四种模式(图像、音频、视频和音视频头部说话),并支持联合检测-定位-解释协议。在 Omni-Fake 之上,我们进一步提出了 Omni-Fake-R1,这是一种强化学习驱动的多模态检测器,它自适应地集成视觉和听觉线索,并输出结构化决策、本地化和自然语言解释。大量实验表明,与最先进的基线相比,检测精度、跨模式泛化和可解释性有了显着提高。项目页面:https://tianxiao1201.github.io/omni-fake-project-page/