DDCL-INCRT：具有分层原型结构的自组织 Transformer（理论基础）

Transformer 系列的现代神经网络要求从业者在训练开始之前决定使用多少个注意力头、网络应该有多深以及每个组件应该有多宽。这些决策是在不了解任务的情况下做出的，产生的架构系统性地大于必要的：实证研究发现，训练后可以删除很大一部分头和层，而不会损失性能。本文介绍了DDCL-INCRT，一种在训练过程中确定自身结构的架构。两种互补的想法结合在一起。第一个是 DDCL（深度对偶竞争学习），用表示数据中信息最丰富的方向的学习原型向量字典替换前馈块。在训练目标的驱动下，原型自动分开，没有明确的正则化。第二个，INCRT（增量Transformer），控制头的数量：从1开始，仅当现有头未捕获的方向信息超过阈值时，它才添加新头。主要的理论发现是这两种机制相辅相成：每个新的头部都会放大原型分离，进而引发触发下一个添加的信号。在收敛时，网络自组织成按表征粒度排序的头层次结构。这种分层结构被证明是独特且最小的，是在规定条件下足以完成任务的最小架构。自始至终都建立了稳定性、收敛性和剪枝安全性的正式保证。架构不是一个人设计的东西。这是一个人衍生出来的东西。