论文

OPRO:用于生成面板感知上下文图像的正交面板相关运算符

OPRO: Orthogonal Panel-Relative Operators for Panel-Aware In-Context Image Generation

模型训练参数高效训练

摘要

我们引入了一种参数有效的适应方法,用于使用预先训练的扩散 Transformer 生成面板感知的上下文图像。关键思想是将可学习的、特定于面板的正交算子组合到骨干网的冻结位置编码上。该设计提供了两个理想的属性:(1) 等距,保留内部特征的几何形状;(2) 相同面板不变性,维持模型预先训练的面板内合成行为。通过受控实验,我们证明了我们的适应方法的有效性并不依赖于特定的位置编码设计,而是可以推广到不同的位置编码方案。通过实现有效的面板相对调节,所提出的方法持续改进基于上下文图像的教学编辑流程,包括最先进的方法。