KALE：具有损耗平衡的内核对齐，可在网络规模上实现稳定的 CLIP-DINOv2 对齐

基于内核的 CLIP 与以视觉为中心的教师（如 DINOv2 (KUEA)）的对齐，使用在策划的 ImageNet-1K 上调整的固定权衡权重，改进了 CLIP 的视觉表示，同时保持文本编码器兼容性。我们询问这是否会转移到嘈杂的网络规模数据 (CC12M) 上，结果发现事实并非如此：对齐项的加权贡献下降到干净项的 0.2% 左右，因此在任何固定权重下，其梯度实际上是惰性的。我们引入了 KALE，一种损耗平衡控制器，可以跟踪损耗并自适应地将对齐权重调整为目标比率，无需按数据集调整即可恢复信号；达到平衡需要将重量增加大约四个数量级，并且所需的值取决于配置，因此没有固定的标量就足够了。我们描述了由此产生的机制：为了稳定性需要有界的高学习率和具有适度下限的衰减时间表，并且控制器平衡而不是发散。在 3.3M 图像 CC12M 子集上，对齐模型保留图像文本检索并可重复地改进 SVHN 线性探测；在标准 11 个数据集平均值上，零样本比 CLIP 提高了 +2.00，超过了 KUEA 的 +1.29。我们以明确的运行差异报告所有结果，并根据运行期间稳定的指标得出我们的结论。