TRACER：用于稳健多模态微调的持久正则化

微调预训练多模态模型的主流策略通常会降低分布外 (OOD) 的鲁棒性，这种现象称为灾难性遗忘。在本文中，我们开发了一个多模态对比微调的理论框架，为每个策略生成封闭式解决方案和几何分解。该框架表明 self-蒸馏 比其他正则化方法更有效地保留预训练模型的知识。我们的分析揭示了一个很大程度上被忽视的局限性：广泛用于鲁棒微调的标准指数移动平均线（EMA）教师遭受崩溃。为了解决这个问题，我们证明加权移动平均（WMA）教师在有限范围内保持持久的正则化力，并在任务子空间中产生无偏差收敛，同时保留正交知识。这些见解激发了 **TRACER**（**T**rajectory-**R**obust **A**nchoring for **C**contrastive **E**ncoder **R**egularization），它将对比学习与 WMA 引导的多视角 蒸馏 结合起来。 CLIP 微调的大量实验证明了跨三个骨干架构的一致的 OOD 精度和校准增益，并且全面的消融证实了 TRACER 对超参数选择既有原则又稳健。代码可在 [https://github.com/HesamaAsad/TRACER](https://github.com/HesamaAsad/TRACER) 获取。