论文
DiffGraph:面向真实场景文生图的自动化智能体驱动模型合并框架
DiffGraph: An Automated Agent-driven Model Merging Framework for In-the-Wild Text-to-Image Generation
摘要
文生图(T2I)社区的快速增长催生了繁荣的在线专家模型生态,这些专家模型是预训练扩散模型针对多样生成能力特化的变体。然而,现有模型合并方法在充分利用丰富的在线专家资源方面仍然有限,且难以满足多样化的真实场景用户需求。我们提出DiffGraph,一个新颖的智能体驱动、基于图的模型合并框架,可自动利用在线专家模型并针对多样用户需求灵活地合并它们。DiffGraph构建一个可扩展的图,并通过节点注册与校准将不断增长的在线专家模型组织到图中。随后,DiffGraph根据用户需求动态激活特定子图,实现不同专家模型的灵活组合,以达到用户期望的生成效果。大量实验验证了该方法的有效性。
