论文
点睛之笔:用于增强视觉焦点的意图驱动图像修饰剂
Dotting the Eye: An Intent-Driven Image Retouching Agent for Visual Focus Enhancement
摘要
图像修饰通常被表述为通过颜色调整来增强整体视觉质量,但在实践中,它还可以通过引导观看者的注意力集中到特定主题或区域来强调视觉焦点。实现这种以焦点为导向的修饰本质上是具有挑战性的,因为它需要良好协调的全局和局部调整来操纵感知显着性,同时保持视觉自然度。这个复杂的过程通常需要大量的专业知识。在这项研究中,我们提出了 EyeControl,一种 MLLM 驱动的代理,具有基于扩散的修饰执行器,可以在用户意图较弱的情况下实现视觉焦点增强。只需点击几下或粗略地画一下,EyeControl 即可将视觉注意力引导到目标区域,从而有效地为图像“点上眼睛”。其核心思想是将微弱的用户意图与修图时的目标编辑区域以及相应的色调调整操作明确联系起来。为了实现这一目标,系统首先解释意图和图像内容,以推断视觉焦点,并为修饰执行者生成结构化意图指导。其次,鼓励修饰执行者对目标区域做出更强烈的反应,明确地将其注意力图与设计的伪意图图对齐。我们还引入了操作一致性约束来改善全局和局部调整之间的协调,实现更自然和连贯的修饰。此外,我们还贡献了 ControlArt-Bench,这是一个用于视觉焦点增强的高质量评估数据集。广泛的评估表明,EyeControl 可产生具有更强意图一致性的感知上有吸引力的结果。代码可以在 https://github.com/DragonisCV/EyeControl 中找到。