论文

不要满足于模式!通过特征自引导缓解预训练流模型中的多样性崩溃

Don't Settle at the Mode! Mitigating Diversity Collapse in Pretrained Flow Models via Feature Self-Guidance

模型推理解码与生成控制

摘要

最先进的流程模型可以根据文本或图像提示生成令人惊叹的图像。然而,当在相同条件下生成多个样本时,它们会遭受多样性崩溃。现有方法通过潜在指导(其有效性有限)或样本选择(依赖于会产生大量推理时间开销的外部奖励模型)来解决此问题。在这项工作中,我们引入了一种高效的 无需训练 自引导机制,可以在不需要额外奖励模型的情况下减轻多样性崩溃。具体来说,我们在批量生成过程中通过特征自引导分散流模型的内部特征。此外,为了保持特征接近流形,我们引入了流形正则化步骤,将这些分散的特征投影回数据流形上,确保多样化的生成而不牺牲与输入条件的对齐。我们的方法作为即插即用模块无缝集成到预训练的流模型中,仅增加边际推理成本。实验证明了多样性的显着改进,同时保留了多个条件流模型的保真度,包括多步和少步文本到图像、深度到图像和参考图像生成。