论文

GeoComposer:以几何为基础的摄影构图指导

GeoComposer: Geometry-Grounded Photographic Composition Instruction

模型训练强化学习

摘要

摄影构图旨在为改善图像的取景、视角和空间布局提供视觉指导。早期的方法主要依靠图像裁剪来增强构图,这受到输入图像的视点和空间排列的限制。最近的方法探索了图像理解和编辑来改善构图,但它们主要关注指令遵循和审美质量,忽视了 3D 场景几何一致性对于摄影构图的重要性。在这项工作中,我们提出了 GeoComposer,一种新颖的基于几何的摄影构图框架,它分析给定图像的构图以生成文本指导并合成增强给定图像构图的视觉示例。为了促进基于几何的构图,我们提出了一种几何感知的表示学习机制,该机制利用视觉几何基础模型中的几何先验来塑造构图编辑模型的中间表示。这种机制保留了全局结构关系和局部细粒度对应关系,以实现基于几何的组合。此外,我们提出了一种以混合奖励为指导的强化学习策略,共同优化指令遵循、美学质量和几何一致性。这使得模型能够生成忠实遵循构图说明的视觉样本,同时保持视觉吸引力和几何一致性。大量的实验证明了我们的方法相对于最先进的方法的优越性,突出了它在生成视觉上吸引人且几何上一致的构图方面的有效性。