论文
面向视觉语言模型的黑盒持续学习
Black-Box Continual Learning for Vision-Language Models
摘要
动态环境中的VLM需要持续学习而不遗忘，但传统白盒设定与云端托管模型逐渐不符。Black-CL设置三个实际约束：不能访问权重和架构、计算受限、推理不提供任务标签。学习器只可查询输出嵌入或logits，不能对主干反向传播或改变结构，依赖这些操作的持续学习方法不适用。本文提出BETA，仅优化文本原型，结合语义投影累积SPA获取增量知识、潜在分布回放LDR稳定嵌入以防遗忘、测试时原型适配TTPA调整实例相关边界。十个数据集和多个主干上的实验中，BETA优于现有黑盒适配方法。仅5万可训练参数，相比所比方法减少180—3000倍，表现达到或超过白盒持续学习方法。作者认为Black-CL与BETA为将持续学习用于真实系统提供了框架。