论文
ComMem：面向视觉语言模型测试时适应的互补记忆系统
ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models
摘要
视觉语言模型（VLM）的测试时适应（TTA）对其在动态真实环境中的稳健部署至关重要。但既有TTA方法常局部适应而不随时间积累知识——或在单模态内运作——未利用VLM固有的多模态性质。受生物大脑互补记忆系统启发——我们提出ComMem——模仿海马体与新皮层不同但协作角色的创新方法——为VLM实现有效TTA。ComMem含两个关键组件：类海马体的快适应详细记忆——从高置信测试样本形成动态视觉缓存；类新皮层的慢整合抽象记忆——持续精化全局文本原型。对每个测试实例——ComMem联合优化两个记忆系统以确保跨模态一致性。15个基准数据集上的大量实验表明ComMem在自然分布偏移与跨数据集泛化下都显著超越SOTA方法——为增强VLM实际适应性提供有前景方向。
