论文
双曲多模态持续学习:最接近的可接受的解决方案
Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution
摘要
现有的持续学习方法保护参数、重放的示例或欧几里德特征子空间。当应用于双曲多模态模型时,它们没有明确保留联合编码模态内相似性、跨模态对应和语义层次结构的洛伦兹几何;因此,顺序更新可以保留任务分数,同时仍然扭曲先前学习的关系。我们通过双曲多模态持续学习(HMCL)解决了这一差距。我们表明,保留旧的多模态几何形状相当于将所有模态限制为一个共享的双曲等距,这会导致一系列可接受的一阶参数变化。我们制定了联合最接近可接受(CA)校正,保留与候选模态更新最匹配的共享旋转;其最小旋转(MR)特殊情况将该旋转固定为零。两种变体都纠正了 AdamW 实现的位移,以及任务积累内的任务锚定界限,同时保留了学习自由。在具有三个双曲主干的统一 16 任务分类检索流中,HMCL 通过顺序微调和四个持续学习基线提高了最终性能和向后迁移; HMCL-CA 在每个主干上给出最高的总体得分。模态扩展流确认了检索增益。表征分析发现,径向、角度、跨模态和配对距离漂移减少了 81.2% 至 95.5%; ImageNet-WordNet 结果显示出更好的语义祖先和径向层次结构。