用短试训梯度选择 Adam 的固定记忆系数

我们提出了一种从短飞行员训练中选择 Adam 中共享记忆参数 $β_1=β_2=β$ 的方法。所选的 $β$ 在后续完整的训练期间保持固定。 Adam 归一化方向的局部模型平衡了采样变异性与对过去的梯度进行平均所引入的延迟。这个平衡给出了三次记忆规则，其两个系数是在几个飞行员检查点处从梯度探针估计的。估计器联合使用分子和分母，保留它们的协方差。通过 200 个更新试点和 4 个检查点中的每一个的 16 个 探针梯度，对 11 个视觉和语言工作负载进行种子匹配回顾性评估，与共享 $β=0.95$ 的网格代表相比，平均相对验证差距减少了 40.7%，最差季度平均差距减少了 44.3%。平均差距也比在所有 11 个工作负载中选择的最佳常量 $β$ 低 32.3%。