不断演变的语义概念转变下的持续视觉学习

视觉基础模型通常是在假设输入数据的外观可能发生变化而预测任务的语义保持不变的情况下进行调整的。然而，在长期存在的视觉系统中，分类法、策略和概念定义本身可以演变，导致相同的视觉证据需要不同的解释。我们将这种设置作为不断演变的语义概念转变进行研究，并引入 SemReWrite，这是一个用于有选择地更新过时的视觉语义映射同时保留仍然有效的知识的框架。 SemReWrite 表示旧的和修订的语义规范之间的变化，将语义差异与稀疏修订监督相结合以定位受影响的视觉区域，并使用依赖于输入的低秩重写机制以及结构化语义记忆、保存和过时决策抑制。我们进一步介绍了 EvoShift-Bench，涵盖 ImageNet、iNaturalist、CUB-200-2011 和 DomainNet，其语义转换包括类分割、合并、边界修订、插入、部分重定义、递归和混合语义-外观转换。为了明确评估选择性语义修订，我们分别引入了受影响和未受影响区域的重写准确性（RA）和保留准确性（PA），用于测量残留过时语义关联的过时保留（OR），以及共同总结重写和保留性能的选择性修订分数（SRS）。实验表明，与即时替换、传统 微调、参数高效适应和持续学习策略相比，SemReWrite 在学习修改后的语义和保留不受影响的知识之间实现了更强的平衡。