利用大规模三连音数据集实现上下文语调风格迁移

照片修饰的色调风格迁移旨在使参考图像的风格色调适应给定的内容图像。然而，缺乏具有风格化 真值 的高质量大规模三元组数据集，迫使现有方法依赖于自监督或代理目标，这限制了模型的能力。为了弥补这一差距，我们设计了一个数据构建管道来构建 TST100K，这是一个包含 100,000 个内容参考风格化三元组的大型数据集。在这个流程的核心，我们训练了一个音调风格评分器，以确保每个三连音严格的风格一致性。此外，现有方法通常独立提取内容和参考特征，然后将它们融合在解码器中，这可能会导致语义丢失并导致不适当的颜色传输和视觉美感下降。相反，我们提出了 ICTone，一种基于扩散的框架，通过联合调节两个图像，利用上下文中的方式执行色调传输，利用生成模型的语义先验进行语义感知传输。进一步结合使用语气风格评分器的奖励反馈学习，以提高风格保真度和视觉质量。实验证明了 TST100K 的有效性，ICTone 在定量指标和人工评估方面均实现了最先进的性能。该项目页面可在线访问：https://dengyuhai.github.io/ICTone_Project/。