反向传播输出动量：将优化器历史记录从参数重新定位到任务空间

优化器动量通常存储为过去梯度的参数大小的移动平均值，这使得历史成本高昂，并将每个过去的信号固定在计算它的坐标中。我们引入了反向传播输出动量（BOM），它在模型输出处存储预测误差的紧凑移动平均值，并在每一步通过当前网络重新投影该历史记录。批量级分析表征了此重定位保留和省略的信息，而实现保留了当前的监督梯度，并且可以替换多个自适应优化器的一阶矩组件。作为基于动量的优化器（包括已经压缩其状态的优化器）的插件，BOM 在三种组合中将参数形优化器状态减少了 49.7-99.8%，并且在三种语言主干上平均，配对步骤时间减少了 4.0%。它还将语言和视觉微调的平均验证性能提高了 1.42 个百分点，在主要的五项任务比较中提高了 1.42 个百分点。语言和视觉预训练研究以及匹配的机制控制，进一步测试了跨输出空间和模型尺度的构建。