差分隐私Muon的裁剪前内部动量修正

差分隐私训练先裁剪每个样本的梯度，再添加噪声。虽然单个样本的裁剪是径向的，不等的裁剪系数仍可能扭曲平均梯度的相对奇异向量几何。Muon尤其容易受此影响，因为其更新为近似极因子UV^T，仅依赖可能被裁剪改变的奇异向量。为减少这一退化，我们提出在裁剪前，对每个采样样本在当前模型与近期模型短历史上的Muon梯度取平均。裁剪后的批量矩阵可分解为共同缩放与协方差残差R，后者来自采样梯度与裁剪值之间的关系，并满足||R||_F <= sigma_lambda sigma_G，从而直接约束裁剪引起的失真。我们进一步证明，在这些谱条件下，有限次Newton–Schulz迭代保留输入的极因子，确认修正可在正交化后保持。在E2E和DART上以epsilon属于{1, 2, 4, 8}进行GPT-2隐私微调，DP-Muon-IM在每组种子匹配比较中均比DP-Muon提高BLEU和ROUGE-L；非隐私诊断显示，加噪前极因子误差降低2%—4%。