论文

DORS:动态注意力路由,用于密集场景中基于扩散的对象去除

DORS: Dynamic Attention Routing for Diffusion-based Object Removal in Dense Scenes

应用与实践内容创作

摘要

对象去除旨在消除掩模指定的目标对象,同时保持与周围区域的视觉一致性。现有方法通常依赖于来自周围区域的上下文信息。然而,在密集场景中,周围区域包含视觉上与去除目标相似的实例,这种依赖往往会导致语义干扰,导致去除不完全。这个问题是由于注意空间中的错误信息传播引起的,其中由于自注意中的全局相似性匹配,屏蔽查询倾向于与此类实例对齐。为了应对这一挑战,我们提出了一种针对密集场景的基于扩散的对象删除框架,称为 DORS,它建立在动态注意力路由机制的基础上,该机制包含两个互补的组件:实例过滤注意力(IFA)和上下文引导路由(CGR),前者通过动态构建的掩模引导注意力约束来抑制来自相似实例的误导性语义信息,后者动态路由互补场景信息以保持视觉一致性。我们进一步介绍了 DOR-Bench,这是一个专为密集场景中的对象去除而定制的基准。大量实验表明,DORS 的性能优于最先进的方法,特别是在减少不完全去除和重复伪影方面。该代码可在 https://github.com/httang1224/DORS 上获取。