通过自适应概率高斯校准进行多模态测试时间自适应

多模态测试时间适应（TTA）通过在推理过程中利用未标记的目标数据来增强基准多模态模型针对分布变化的弹性。尽管取得了成功，但多模态 TTA 方法的进步一直受到持续局限性的阻碍，即缺乏类别条件分布的显式建模，而这对于产生准确的预测和可靠的决策边界至关重要。规范高斯判别分析 (GDA) 提供了类别条件分布的普通建模，并在单模态环境中取得了适度的进步。然而，在多模态 TTA 场景中，固有的模态分布不对称性破坏了通过规范 GDA 建模类别条件分布的有效性。为此，我们引入了多模态 TTA 的定制概率高斯模型来显式建模类别条件分布，并进一步提出了一种自适应对比不对称校正技术来抵消模态不对称引起的不利影响，从而得出校准的预测和可靠的决策边界。跨不同基准的大量实验表明，我们的方法在广泛的分布变化下实现了最先进的性能。代码可在 https://github.com/XuJinglinn/AdaPGC 获取。