通过扩散模型中的多特征聚合实现鲁棒的人脸超分辨率和识别

在监控环境中获取的图像通常会遇到分辨率低、姿态变化、照明不规则和遮挡等情况。由于这些图像的质量较低，人脸识别算法常常遇到困难。这一主要限制可以通过采用增强图像细节的超分辨率技术来解决。然而，由于问题难度较高，大多数超分辨率算法往往会导致图像和个人身份的扭曲。因此，必须将附加信息纳入处理中以提高识别鲁棒性。在这方面，监控摄像头可以捕获多个图像，即使是低质量的图像，并且从这些图像中提取的数据（例如连续的视频帧）可以显着增强超分辨率和面部识别。在这项工作中，我们介绍了 FASR++，一种基于扩散模型的超分辨率算法。它利用参考低分辨率图像和从多个辅助低质量图像中提取的特征来生成超分辨率输出，从而最大限度地减少个人身份的扭曲。我们的方法可以恢复面部特征，而无需明确提供软属性或计算函数梯度来指导重建过程。 FASR++ 生成高质量的图像，当用作预处理步骤时，可以显着提高人脸识别任务的性能。我们在两个标准人脸识别数据集上验证了我们的方法，并在验证、人脸识别和图像质量指标（例如 PSNR、SSIM 和 LPIPS）方面获得了最先进的结果。