论文

属性标记算法:视觉自回归模型的解缠结和连续语义控制

Attribute Token Arithmetic: Disentangled and Continuous Semantic Control for Visual Autoregressive Models

模型推理解码与生成控制

摘要

自回归文本到图像生成最近取得了显着的进展,通过统一的生成框架提供高保真合成。然而,由于属性纠缠以及文本和细粒度视觉表示之间的不一致,细粒度语义控制仍然具有挑战性。在本文中,我们介绍了属性词元算法(ATA),这是一种在视觉自回归建模中实现分离和连续属性控制的方法。受到词嵌入中观察到的向量算术特性的启发,ATA 直接在预训练的自回归潜在空间中识别与视觉属性(例如,衰老、肥胖、情感)相对应的语义方向。这些方向是从单个参考图像中学习的,无需模型重新训练或大规模监督。在生成过程中,属性可以不断调整,并通过简单的算术运算与其他属性标记进行合成组合。大量实验表明,ATA实现了身份保留、细粒度和多属性调整,在可控性、通用性和计算效率方面优于现有的自回归编辑基线。我们的代码将在 https://github.com/Madaoer/ATA 提供。