MultiMem：测量和减轻多模式对比学习中的记忆

机器学习模型中的记忆通过捕获罕见的分布样本的非典型模式来实现高性能。然而，它也会导致噪声和异常值的有害保留，从而降低泛化能力。虽然记忆在视觉领域的监督学习和自监督学习中得到了广泛的研究，但在多模态对比学习中仍未得到探索。我们通过引入 MultiMem 来解决这一差距，这是第一个旨在量化多模式对比学习中记忆的指标。通过系统分析，我们证明跨模态语义错位对记忆的影响最大，其中文本是驱动记忆的主要模态，其次是视频、图像和音频。我们表明，在所有模式中应用有针对性的增强可以有效地减少通过 MultiMem 指标衡量的记忆并提高模型性能。总的来说，这项工作建立了第一个在多模式对比学习中测量和减轻记忆的框架，防止有害的数据保留并有助于提高模型的性能。