神经频谱容量：仅根据网络规范测量和设计架构

现代Transformer的设计和压缩都减少了在预算范围内分配容量。这些决策的标准标量 #Params 和 #FLOPs 捕获大小和计算，但不捕获架构结构：具有相同参数预算但不同深度宽度、头部或 FFN 分配的两种架构获得相同的分数，但行为不同。我们提出了神经谱容量（NSC），这是一种基于每个权重矩阵的奇异值谱的封闭形式标量。在标准随机初始化下，Marchenko-Pastur 定律使 NSC 可以仅根据架构规范进行计算，无需模型实例化、数据或梯度。它的逐层加法结构允许 NSC-DP，这是一种精确的动态编程求解器，可在 CPU 上几秒钟内返回全局最大化 NSC 的架构，这是对现有免训练代理的黑盒搜索无法提供的保证。根据经验，NSC 在七个 Transformer 和 CNN 系列的排名中优于 #Params、#FLOPs 和代表性的免训练代理（在 FlexiBERT 上，$\tau = 0.505$，对于 #Params 差异小于 10% 的对，其中 #Params 崩溃到 0.082）； NSC-DP 在 WikiText-103 上发现了 Transformer-XL 架构，该架构在 2 秒内击败了人类设计的基线；并在没有任何校准数据的情况下，在八个常识推理任务中将 LLaMA-7B 修剪为最佳 5.7B 模型，比最强的免训练代理基线快约 5900 倍。