论文
Steering Fields:以自适应向量场控制安全图像生成
Steering Fields: Adaptive Vector Fields for Safe Image Generation and Beyond
摘要
随着最先进的文本到图像流模型实现近乎真实的质量,控制其输出(例如,抑制有害内容,同时推广良性替代方案)已成为一项核心挑战。当前的转向范例包括向选定的激活添加全局转向向量。虽然功能齐全,但沿整个轨迹统一应用的固定且与示例无关的向量无法适应生成状态的变化,并且常常会导致意外的全局变化。我们引入了转向场,这是转向向量的概括,它在生成过程的每一步自适应地重新估计转向方向。转向场在流模型的噪声状态下运行,暴露转向强度和内容保存之间的连续权衡,并且是组合的,能够同时引入和抑制概念,为安全转向基准设定了新的最先进技术。尽管没有使用明确的空间掩模或对象先验,但轨迹自适应估计自然地保留了局部结构,这让人想起图像编辑。事实上,Steering Fields 可以作为一种保留结构的图像编辑技术,实现最先进的语义保真度(CLIP、VQAScore),同时保持不依赖特定模型和免反演。