从孤立的特征到轨道：通过多 SAE 对齐发现音乐概念

我们如何理解音乐基础模型学到了 内部 的内容？大多数可解释性方法，例如探测和稀疏自动编码器（SAE），都专注于用最少的结构假设来识别个体特征。我们认为，许多概念最好理解为 结构化关系，而不是孤立的特征。这在音乐中尤其突出，因为音调结构是在音高和时间的空间中组织的。例如，和弦或调等概念自然地表达为结构化集合（例如，和弦的 12 次变调或调内的全音阶系统），而不是孤立的特征。在这项研究中，我们从特征识别转向基于结构的分析，询问音乐基础模型的学习内部表征是否以特征上的有组织结构的形式出现。为此，我们引入了一个框架，该框架使用音调换位作为归纳偏置，通过多视图 SAE 对齐来诱导有序轨道。具体来说，我们生成音高变换的输入对并对齐它们的 SAE 表示，以发现音高相关特征的结构化组。实验结果表明，这种方法可以恢复与两个最先进的音乐基础模型中的和弦、调和旋律模式相对应的轨道结构，同时只需要最少的基础（例如，一些锚示例）来解释整个概念族。