GeoPair：用于免训练 Transformer 压缩的几何保留跨层分解

Transformer 架构表现出跨层冗余，但训练后压缩管道通常会单独优化层，或者依赖于忽略特定层激活几何形状的启发式分组策略。我们引入了一个有原则的、免训练的框架，该框架可以顺序优化跨层权重配对和共享字典分解。我们的方法不是强制相邻层的权重共享基础或启发式合并激活统计数据，而是识别结构兼容的投影并学习更好地保留每层独特的校准几何形状的共享表示。与结构化稀疏性相结合，可以在不牺牲功能保真度的情况下产生高效的权重分解。在不同的架构、规模和模式中，我们的方法取得了最先进的结果，始终优于在启发式分组策略下运行的独立结构化权重分解和替代成对权重分解。通过用聚合的、优化驱动的管道取代启发式工程策略，我们为跨不同模式的可扩展Transformer压缩奠定了理论基础。