论文

解锁扩散层次结构:零样本分割的自适应时间步长选择

Unlocking Diffusion Hierarchies: Adaptive Timestep Selection for Zero-Shot Segmentation

应用与实践视觉感知与空间理解

摘要

通过利用大规模文本到图像扩散模型(例如稳定扩散)中的丰富视觉先验,零样本分割最近显示出显着的改进。然而,由于空间分辨率和上下文信息之间的权衡,以及它们对单个静态时间步长的特征提取的依赖,当前基于扩散的方法通常面临局限性。为了克服这些挑战,我们的工作引入了两项关键进展。首先,我们的上下文相似度图将高分辨率注意力图与丰富的 U-Net 编码器功能融合在一起,提供细粒度和稳健的每像素表示。其次,我们在各种扩散模型的去噪过程中识别出一种新兴的分层语义进展:表示从早期时间步骤的部分级抽象过渡到后期阶段的对象级抽象。利用这种洞察力,我们引入了一种机制来自适应地为每个像素选择最佳时间步长。大量的实验表明,我们的方法始终优于现有的零样本分割基线,验证了将上下文特征与动态、分层时间步选择相结合的功效。