网络压缩可重用神经基的数学理论

随着大型人工智能模型在广泛的应用中变得越来越普遍，内存成本已成为训练和推理的关键瓶颈。为了缓解这个问题，我们引入了线性可重用神经基础架构（LRNBA），这是一种旨在提高参数效率和降低内存成本的新颖框架。受循环神经网络（RNN）设计的启发，我们方法的核心思想是将每个网络块表示为一组共享神经基的线性组合，从而在保持稳定训练的同时享受高网络压缩率。所提出的架构允许在相同的参数预算下构建更宽、更深的网络。大量的实验表明，我们的模型实现了与经典架构相当甚至更快的收敛和更低的损失，同时保持稳定的训练动态。