遵循您的偏好++：重新思考图像修复的偏好对齐

我们研究图像修复的偏好对齐。我们没有提出另一种方法，而是从首要原则重新审视问题并重新评估其核心挑战。我们采用广泛使用的直接偏好优化框架，并使用公开的奖励模型构建偏好训练数据。我们的实证研究涵盖九个奖励模型、两个基准和两个在架构和生成机制上不同的基线修复模型。我们的主要发现是：（1）大多数奖励模型为偏好数据构建提供了有效信号，尽管有些模型作为评估者并不可靠。 (2) 在模型和基准中，偏好数据在候选和样本缩放下表现出一致的趋势。 (3) 奖励模型表现出明显的偏差——特别是在亮度、构图和配色方案方面——这使得它们容易诱发 奖励作弊。 (4) 简单的奖励模型集合可以减轻这种偏差并产生稳健的、可推广的性能。 {\color{rebuttal_blue}(5) 偏好对齐可转移到对象删除任务，其中目标从开放式创意生成转变为连贯的背景完成。 (6) 进一步的分析表明，经过校准的集成方法进一步减少了黑客攻击并提高了鲁棒性。}在不修改模型架构或引入额外数据集的情况下，我们的模型在标准指标、大型视觉语言模型评估和人类评估方面大大优于先前最先进的模型。我们的代码位于：https://github.com/shenytzzz/Follow-Your-Preference。