论文

RefRoute:以紧凑残差与空间路由压缩多图参考

RefRoute: Decoupling Conditioning Cost from References via Compact Residual Conditioning and Spatial Routing

模型推理推理加速

摘要

多参考图像生成需要保留多个对象的外观,同时将它们组合成连贯的场景。然而,现有的扩散变换器通常将参考编码为密集的视觉 token 网格,并通过全局注意力联合处理它们,随着参考的数量和分辨率的增长,使得调节变得越来越昂贵。我们提出了 RefRoute,一个通过两种互补机制解决参考表示成本和注意力开销的框架。紧凑残余调节将低分辨率潜在 token 与从全分辨率像素提取的轻量残余特征相结合,减少参考 token 计数,同时保留细粒度的外观线索。条件路由和注意力路由将参考 token 与其指定的目标区域对齐并限制交叉参考交互,同时允许选择性参考访问超出区域边界以进行场景集成。我们进一步介绍了训练多参考生成模型的 RefRoute-Data 和 ManyRef100,这是一个跨越人类、物体和具有 10-17 个参考的混合组合的基准。经过多参考微调后,RefRoute 在 ManyRef100 上的总体 Weighted-Ref-VIEScore 达到了 36.06,而 FLUX.2-Klein-9B 的总体 Weighted-Ref-VIEScore 为 8.88。单独的推理成本评估显示,随着引用计数的增加,延迟增长明显减慢:在 16 个引用时,我们的 50 步和 4 步配置分别在其相应的 FLUX 基线上实现了 $18.3\times$ 和 $14.2\times$ 加速。这些结果建立了紧凑的参考表示和空间路由注意力作为可扩展的多参考图像生成的有效方法。

RefRoute:以紧凑残差与空间路由压缩多图参考:论文原图
图 1:RefRoute 演示。我们的方法可以实现高效的多参考生成,同时保留精细的外观细节和空间对应性。通过 16 个参考,我们在 50 步时比 FLUX.2-Klein-9B 实现了 18.3$\times$ 加速。