论文
UniShield:通过 KG-Informed 多模态推理进行统一人脸攻击检测
UniShield: Unified Face Attack Detection via KG-Informed Multimodal Reasoning
摘要
统一人脸攻击检测(UAD)需要在共享决策空间内识别物理欺骗和数字伪造,但现有的判别性或基于提示的方法很大程度上依赖于外观相关性,并提供有限的基于证据的推理。我们提出了UniShield,一种基于知识的多模态推理框架,用于统一人脸攻击防御。 UniShield 构建了一个人脸攻击知识图 (FAKG),将攻击类别与诊断视觉线索和攻击条件关系联系起来,并使用它来合成 52,025 个 FAKG-QA 示例,用于攻击图指令调整 (AGIT)。为了提高基本原理的一致性,我们进一步引入了图一致推理优化(GCRO),这是一种基于 GRPO 的目标,具有 KG 一致性奖励,鼓励生成的基本原理与图支持的线索相匹配,同时惩罚不兼容的主张。我们的多模式 UAD 基准测试表明,UniShield 在二进制、粗粒度和细粒度协议中实现了强大的性能,并且具有一致的高 ACC 和低 HTER。这些结果表明,与判别性基线和通用 MLLM 相比,结构化攻击知识可以提高检测准确性和推理可靠性。我们的代码将在 https://anonymous.4open.science/r/Unishield-A6A3/ 发布。