从扩散到整流流：重新思考基于文本的分割

基于文本的图像分割旨在根据文本提示描绘图像内的对象边界，与传统的固定类别分割任务相比，提供更高的灵活性和更广泛的应用范围。最近的研究表明，扩散模型（例如稳定扩散）可以提供丰富的多模态语义特征，从而引发了使用扩散模型作为分割任务的特征提取器的研究。然而，此类方法继承了扩散模型的生成性质，这对判别性分割任务有害。为此，我们提出了 RLFSeg，这是一种新颖的框架，它利用整流流来学习从图像到潜在空间内的分割掩模的直接映射。因此，该模型摆脱了噪声去噪过程和优化扩散模型时间步长的需要，从而比以前基于扩散的方法具有更好的性能，特别是在零样本场景下。通过引入标签细化和自适应一步采样策略，该模型即使在单个推理步骤上也能实现更高的准确性。该框架将预训练的生成模型重定向到判别性分割任务，对模型结构进行零修改，从而展现出良好的应用潜力和重大的研究价值。