论文
逃离 Procrusteean 床：音频语言模型的分组正交连接器
Escaping the Procrustean Bed: Groupwise Orthogonal Connectors for Audio-Language Models
摘要
音频语言模型通过查询 Transformer（Q-Former）连接器压缩语音编码器的输出，然后将其馈送到 大语言模型。我们发现此压缩中有两个失败。连接器的输出向量折叠到一个方向，不同的说话者产生几乎无法区分的输出，伴随着说话者身份、性别和韵律等副语言线索的丢失。我们的方法 ORCA 通过将查询分成组来扭转这种崩溃，这些组的输出被限制为指向不同的方向。在 SAKURA 多跳推理中，ORCA 比相同训练的 4B 基线提高了 26.4 分，达到 75.2%（8B Audio Flamingo-3 为 49.0%）。在连接器级别，相同的更改将查询冗余减少了 12 倍，并将跨说话者差异提高了 75 倍。