论文

BRIDGE:用于粗掩模本地编辑的后台路由和隔离离散选通

BRIDGE: Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing

应用与实践内容创作

摘要

粗掩模局部图像编辑要求模型修改用户指定的区域,同时保留周围的场景。然而,在实践中,粗糙蒙版通常会成为意想不到的形状先验:蒙版不会充当灵活的编辑支持,而是会将生成的对象拉向其意外边界。我们将这种失败研究为掩模形状偏差,并通过两区域约束来构建任务,其中背景应保持稳定,而可编辑区域应遵循指令,而不会被迫继承掩模轮廓。 BRIDGE 通过将掩码保留在 DiT 主干之外以支持构建和混合来解决此设置,避免 DiT 内部掩码注入和复制控制分支。它使用 BridgePath 生成,其中主路径保留背景上下文,主题路径从独立噪声生成可编辑内容。受诊断 Qwen-Image 实验的启发,该实验显示位置嵌入和注意力连接调节哪些图像上下文视觉标记重用,BRIDGE 为 词元级 位置嵌入路由引入了可学习的离散几何门。该门允许主题词元借用融合区域附近的背景锚定坐标或保留以主题为中心的坐标以实现几何自由。我们在 BRIDGE-Bench、MagicBrush 和 ICE-Bench 上评估 BRIDGE。在 BRIDGE-Bench 上,BRIDGE 将本地 SigLIP2-T 从 FLUX.1-Fill 的 0.262 和 ACE++ 的 0.390 提高到 0.503,本地 DINO 和 DreamSim 也有同样的增益。 MagicBrush 和 ICE-Bench 上的零样本结果进一步表明了超出策划基准的竞争性对齐和源保留,而与 ControlNet 样式复制分支相比,添加的路由模块在 13.31M 参数下保持紧凑。