公平感知测试时间提示调整

视觉语言模型在多模态理解方面表现出了卓越的能力，并且越来越多地用于经济和实际部署限制禁止重新训练或 微调 的关键应用。然而，这些模型也可能表现出系统性偏差，对受保护的人口群体产生不成比例的影响，而解决这些偏差的现有方法需要进行广泛的模型再训练和获取人口统计属性。显然需要开发测试时间适应（TTA）方法来改善分布转移下预训练模型的公平性特征。在本文中，我们评估了情景 TTA 在子群体变化下如何影响 CLIP 分类的公平性，并开发了 FairTPT，这是一种新颖的公平感知情景 TTA 方法，该方法通过软提示调整联合最小化目标边际熵，同时最大化虚假边际熵。我们发现，标准的情景 TTA 通常会加剧多数群体和少数群体之间的差异，在不降低目标性能的情况下使模型对虚假属性视而不见本质上是具有挑战性的，而且过度的盲目可能会导致灾难性的遗忘。通过监控线性范围内目标损失的测试时间变化，可以防止这种模型崩溃，同时仍然实现反应数据的公平性改进并保持整体性能。 FairTPT 优于所有最先进的情景测试时间去偏方法，并为稳健的 TTA 奠定了基础，这对于在实践中实现公平性至关重要。