论文

XSA-MAD:用于变形攻击检测的跨模式语义对齐

XSA-MAD: Cross-modal Semantic Alignment for Morphing Attack Detection

模型训练监督微调与指令调优

摘要

变形攻击对人脸识别系统构成严重威胁。然而,现有的基于图像的变形攻击检测(MAD)方法通常很难推广到看不见的生成技术,因为它们仅依赖于视觉线索。我们提出了 XSA-MAD,这是一种基于 CLIP 的多模态框架,可以显式地模拟真实面孔和变形面孔之间的语义不一致。变形概念被分解为四个可解释的属性,包括身份、面部几何形状、纹理和一致性,并被编码为结构化和属性感知的文本表示。图像编码器逐渐与这种有区别的文本空间对齐,从而产生统一的语义表示,捕获真实图像和变形图像之间的代不变性和概念级差异。在 SMDD 训练之后,MAD22 和 MorDIFF 的实验证明了跨不同变形原理的强大泛化能力。特别是,XSA-MAD 在基于 GAN 的变形上实现了 2.92% 的同等错误率,并且在高保真生成攻击下始终优于现有方法。