GenMask：通过直接掩模生成调整 DiT 进行分割

最近的分割方法利用预训练的生成模型作为特征提取器，通过间接特征检索将分割视为下游适应任务。这种隐式使用在表示上存在根本性的偏差。它还严重依赖于间接特征提取管道，这使工作流程变得复杂并限制了适应性。在本文中，我们认为分割任务应该以生成方式直接训练，而不是间接适应。我们确定了这种统一公式的一个关键障碍：二元掩模的 VAE 潜伏分布尖锐、噪声鲁棒且线性可分离，与自然图像潜伏不同。为了弥补这一差距，我们引入了二进制掩模的时间步采样策略，强调分割的极端噪声水平和图像生成的中等噪声，从而实现和谐的联合训练。我们提出了 GenMask，一种 DiT 训练，可以在原始生成目标下生成黑白分割掩模以及 RGB 空间中的彩色图像。 GenMask 保留了原始的 DiT 架构，同时消除了为分割任务定制的特征提取管道的需要。根据经验，GenMask 在引用和推理分割基准方面获得了最先进的性能，并且消融量化了每个组件的贡献。