有效并不意味着有用：Transformer中冗余和扩展的有条件功能可替代性

现代神经网络的规模可预测，但这些规律背后的机制仍不清楚。神经冗余通常以成分重要性或表征相似性为特征，两者都是间接代理。我们将冗余视为一种输入条件的动态关系：当中间计算状态引起类似的下游响应时，它们在功能上是冗余的。我们引入条件功能可替代性（CFS）来直接表征这种功能替代。 CFS 揭示了传统的基于重要性和相似性的衡量方法所遗漏的功能关系和减少潜力。跨模式和 Transformer 系列，CFS 揭示了大规模的系统性功能重组。受控扩展进一步表明，性能提升不需要跟踪可替代性的增长，而具有更独立功能结构的固定容量模型表现更好，提供了收益递减的功能说明。预测的 CFS 进一步支持动态计算，具有比基于重要性的组件选择更好的性能计算权衡，为冗余感知计算和更高效的模型扩展提出了新方向。