论文

技术说明:通过信息几何进行零训练特征空间对齐

Technical note on: Zero-Training Feature-Space Alignment via Information Geometry

模型评测鲁棒性、公平性与可信度评测

摘要

深度视觉模型通常会在分布变化的情况下退化。测试时适应可以提高鲁棒性,但通常需要迭代优化、超参数调整和多次前向-后向传递。我们提出了零训练 Fisher 几何对齐(ZFGA),这是一种封闭式方法,可以在不修改模型参数的情况下提高协变量移位下的鲁棒性。 ZFGA 基于分布变化会扭曲特征空间几何的观察。它估计关于特征嵌入的预测分布的费舍尔信息矩阵,并应用线性变换将测试特征费舍尔几何与根据干净数据计算的参考几何对齐。这在特征空间中提供了受自然梯度启发的预处理步骤。我们使用 ResNet-50、DINO ViT-S/16 和 CLIP ViT-B/32 在 CIFAR-10-C 和 ImageNet-C 上评估 ZFGA。 ZFGA 在所有三个模型中持续改进零样本推理,尽管它并不是每个模型的最强方法。协方差白化在 ResNet-50 上表现更好,而 Fisher 白化在 CLIP 上与 ZFGA 在统计上没有区别。在六种免训练和基于梯度的替代方案(协方差白化、Fisher 白化、TENT、T3A、LAME 和 AdaNPC)中,ZFGA 是唯一不会对三个模型系列造成实质损害的方法。 Fisher 几何畸变也与 ZFGA 增益呈正相关(Pearson r = 0.366,p = 0.017),这提供了几何失准导致鲁棒性下降的初步证据。 ZFGA 在推理时仅需要前向传递和矩阵运算,为基于优化的测试时适应提供了轻量级且确定性的替代方案。