CHASE：利用通道对齐结构进行模型适配与压缩

几何和光谱对齐 (GSA) 通过光谱集中、物理通道对齐、支持结构和奇异基数的变化来表征训练网络。在本文中，我们提出 CHASE（通道对齐结构开发）以在实际模型设计中使用这些结构。 CHASE 涵盖模型修改、重新配置和压缩等六种应用。 CORA、COEC 和 CORAM 将 GSA 应用到参数高效微调、结构化剪枝补偿和模型合并。我们进一步开发了三种新方法。 CAGA使用GSA来识别可以共享KV表示的多头注意力头，并通过几何对齐和低秩子空间提取来构造共享的键和值头。 SAKV 使用 GSA 来确定哪些相邻层可以共享低等级 KV 缓存表示以及每个层组的保留等级。 CAPS 使用 GSA 谱结构对输出神经元进行分组，并为每组单独选择保留的输入通道。 CORA、COEC 和 CORAM 的结果确定了 GSA 在适应、剪枝补偿和模型合并方面的有效性。 CAGA 上的实验表明，几何共享头结构大大改善了 MHA 到 GQA 的转换，并且 SAKV 和 CAPS 相对于 KV 缓存压缩和结构化修剪的代表性基线有所改进。这些结果表明，GSA 识别的结构可以直接用于设计一系列模型操作的方法。