LARC用信息增益奖励训练连续潜空间推理以改善图像生成

统一多模态模型（UMM）在不同的多模态理解和生成任务上取得了显著的成功，但它们仍然难以有效地利用基于语言的思维链推理来生成图像。因此，现有的推理增强 UMM 通常无法继承大型语言模型中观察到的测试时计算扩展和细粒度可控性。我们将这种失败归因于基本的模态不匹配：推理是在离散的 token 空间中执行的，而图像生成是在连续的空间中进行的。为了弥补这一差距，我们引入了连续空间中的潜空间推理框架（LARC），它通过对连续隐藏状态进行推理来缓解 token 级瓶颈。具体来说，训练框架由两个阶段组成：（i）课程监督微调（SFT）和（ii）信息增益强化学习（RL）。首先，课程SFT阶段逐渐将 token 级推理转化为潜空间推理。随后，信息增益强化学习阶段在没有真实标签监督的情况下自我进化潜空间推理。跨不同文本到图像生成基准的实验表明，LARC 持续提高生成质量、提示跟随性和组合语义保真度。值得注意的是，LARC 在 GenEval 上实现了最先进的性能，比 BAGEL 提高了 7 个百分点，并展示了清晰的测试时计算扩展行为，在并行和顺序测试时计算扩展策略下均优于基于 token 的生成。