ControlRef：通过锚定 4D-RoPE 高效布局引导多实例生成

布局引导的多实例生成对于多模态扩散 Transformer (MM-DiTs) 中的可控图像合成至关重要。然而，将此功能集成到统一架构中仍然具有挑战性。先前的框架依赖冗余的全分辨率画布填充和 Shifted-RoPE 来管理多个参考图像。这种机制极大地增加了稀疏布局的计算开销，并破坏了关键的低频 RoPE 特征，造成严重的空间频率妥协，模糊了绝对空间对应关系。为了克服这些限制，我们提出了 ControlRef，一种高效且精确的多实例综合框架。 ControlRef 利用统一实例布局控制 (UILC) 注意掩码来严格解耦实例间语义交互并强制执行精确的区域绑定。为了进一步促进区域级空间对齐，我们引入了 Anchored 4D-RoPE，这是一种新颖的位置编码机制，可将标记直接锚定到其绝对几何中心。通过将参考图像预先对齐到其相应的边界框分辨率，将布局和参考标记物理锚定到其绝对几何中心，并沿 z 轴堆叠参考，Anchored 4D-RoPE 本身可以保留空间先验并减轻空间频率妥协，而不会产生有损移位。大量实验表明，ControlRef 实现了最先进的视觉保真度和定位精度，同时在稀疏布局中将推理延迟减少了 80% 以上，在密集场景中将内存开销减少了 50%。