论文

OmniColor:多模式线性着色的统一框架

OmniColor: A Unified Framework for Multi-modal Lineart Colorization

应用与实践内容创作

摘要

艺术线条着色是专业内容创作的关键阶段,但在不同的用户限制下实现精确和灵活的结果仍然是一个重大挑战。为了解决这个问题,我们提出了 OmniColor,这是一种多模式线性着色的统一框架,支持控制信号的任意组合。具体来说,我们系统地将引导信号分为两类:空间对齐条件和语义参考条件。对于空间对齐的输入,我们采用双路径编码策略与密集特征对齐损失相结合,以确保严格的边界保留和精确的颜色恢复。对于语义参考输入,我们利用与时间冗余消除机制集成的仅 VLM 编码方案来过滤重复信息并提高推理效率。为了解决潜在的输入冲突,我们引入了自适应空间语义门控模块,该模块可以动态平衡多模态约束。实验结果表明,OmniColor 实现了卓越的可控性、视觉质量和时间稳定性,为线稿着色提供了稳健且实用的解决方案。源代码和数据集将在https://github.com/zhangxulu1996/OmniColor开放。