论文

泛化优于记忆:单图像多视图合成的泛化感知扩散适应

Generalization over Memorization: Generalization-Aware Diffusion Adaptation for Single-Image Multi-View Synthesis

模型训练监督微调与指令调优

摘要

我们展示了 ACM Multimedia 2026 单图像引导多角度图像合成大挑战赛的获胜解决方案。在293支报名球队中排名第一; 56 支队伍在公开 A 阶段排行榜上获得了至少一份得分提交作品。由于只有 40 个训练场景,该挑战需要来自一个 RGB 模型的 26 个目标视图以及每个视图一次前向传递;它禁止显式几何、外部渲染、链式生成、候选选择和后处理。我们发现了一个关键的模型选择失败:共享训练和验证场景使记忆看起来像可转移的视图控制。因此我们引入 GoM。该框架是泛化优于记忆的缩写,结合了场景不相交验证、曝光匹配选择和有针对性的扩散适应。其综合模型采用 4B 整流流 DiT,使用 32 级 LoRA、优化器重启、后期检查点平均和 VAE 解码器调整。超过 300 个离线实验和 24 个在线提交表明,验证设计和训练轨迹控制与小数据生成建模中的架构规模一样重要。