当相同的音乐知识有不同的遗忘时：路径依赖性遗忘的彻底探索

模型可以通过听音频或阅读文本描述来了解钢琴曲《致爱丽丝》是平静和反思的，但是当知识后来面临被遗忘的风险时，该知识采取哪条路线重要吗？多模态模型中的遗忘研究衡量了适应过程中知识的丢失，但没有询问获取途径是否会影响知识被遗忘的容易程度。我们将这个未经检验的前提称为路径不变假设。音乐理解可以实现干净的测试，因为音乐剪辑和规范文本描述可以与相同的感知内容对齐，允许相同的知识单元通过聆听或阅读进入模型，同时目标保持固定。在多个架构不同的音频语言模型中，我们观察到一致的不对称性：在相同的适应压力下，文本通路知识比匹配的音频通路知识更容易被遗忘。为了将这种效应归因于路径而不是混淆，我们引入了配对路径控制协议（PPCP），这是一种三阶段设计，建立匹配的路径基线，在同一知识池的对称监督下激活两条路径，并对两条路径施加相同的遗忘压力。这种差距在模型和增益控制分析中是稳定的，当矛盾的覆盖被正确标签的跨域学习取代时，这种差距仍然存在，在单模态压力下仍然存在，并且不会被轻量级重放消除。两个独立的路由深度控制证实了这种影响不能用架构深度来解释，表明输入表示是主导因素。在 PPCP 下，我们的结果表明遗忘是高度依赖路径的，将习得路径建立为遗忘研究和多模态系统设计的新分析维度。