多模态模型中模态竞争的二阶多级方差校正

自回归下一个词元训练为图像生成和文本理解提供了统一的公式，但它也产生了强烈的模态竞争，破坏了优化的稳定性并限制了大批量扩展。我们表明，AdamW 等一阶优化器容易受到跨模态梯度异质性的影响，而二阶预处理，特别是 SOAP，为多模态对齐提供了更稳定的基础。基于这一见解，我们提出了 \emph{ML-FOP-SOAP}，一种具有多级方差校正的二阶优化框架。我们的费舍尔正交投影抑制了方差引起的模态冲突，减少了视觉生成和文本理解之间的权衡。为了使其在大梯度积累下实用，我们引入了一种分层折叠策略，以低微步开销捕获细粒度方差。 Janus 和 Emu3 上的实验显示，两种模式的增益一致，并且批量大小为 8192 时稳定训练。与 AdamW 相比，我们的方法将样本效率提高了 1.4 美元，并将挂钟训练加速了 1.5 美元，为扩展多模式基础模型提供了强大的优化器。