基础：“幽灵反向传播”的具有不变标量的平衡激活草图

精确反向传播所需的激活内存与网络深度、上下文长度和特征维度线性缩放，形成 O(L * BN ) 空间瓶颈（其中 B 是序列批量基数，N 是特征维度）。从历史上看，这种限制限制了深度神经网络的扩展。虽然随机自动微分试图缓解这一问题，但它在历史上却遭受了灾难性的方差。在本文中，我们介绍了 BASIS（具有不变标量的平衡激活草图），这是一种高效的反向传播算法，可将激活内存与批次和序列维度完全解耦。 BASIS 传播精确的误差信号 (dX) 以保持完美的梯度流，但使用大规模压缩的 R 阶张量来计算权重更新 (dW)。为了解决草图梯度的基本不稳定性，我们提出了两种新颖的机制：平衡散列，它严格消除非对角线碰撞方差；以及不变标量，一种有原则的偏差-方差权衡，可以确定性地保留空间几何的精确连续能量范数。理论上，BASIS 将激活内存减少到 O(L * RN )，并大大减少了后向传递矩阵乘法的占用空间。根据经验，训练 GPT 架构 50,000 步验证了我们的理论保证：在 R = 32 时，BASIS 与精确反向传播验证损失（6.575 与 6.616）相当（并略微优于），充当隐式正则化器。值得注意的是，稳定的幅度轨迹使得模型即使在极端空间压缩（R = 1）下也能平滑收敛，证明了估计器的极端鲁棒性。代码可在 https://github.com/VladimerKhasia/basis 获取