深度神经网络中人脸嵌入的兼容性

由于可以针对特定领域任务进行训练的深度神经网络 (DNN) 模型空前崛起，自动人脸识别在过去十年中取得了快速发展。与此同时，在广泛的视觉或视觉语言任务上进行预训练的大型基础模型在包括生物识别在内的不同领域表现出了令人印象深刻的泛化能力。这就提出了一个重要的问题：尽管在不同的数据集、损失函数和架构上进行了训练，但不同的 DNN 模型（特定领域模型和基础模型）是否以相似的方式编码面部身份？在这方面，我们直接分析了不同 DNN 模型估算的嵌入空间的几何结构。将面部图像的嵌入视为点云，我们研究简单的仿射变换是否可以将一个模型的面部表示与另一个模型对齐。我们的研究结果揭示了显着的跨模型兼容性：低容量线性映射在识别和验证方面相对于未对齐的基线显着改善了跨模型人脸识别，包括从未接受过人脸识别训练的基础模型。对齐模式在数据集中泛化，并且在模型系列之间系统地变化，这表明面部身份编码中的表征趋同。这些发现将独立训练的模板重新定义为可转让而非可撤销，这对互操作性、整体设计和生物识别模板安全性具有影响。