Polaris：扩大指令引导图像生成以满足数百万个性化风格需求

用户越来越期望图像生成模型能够快速适应高度多样化和个性化的需求，例如生成具有鲜明风格或特​​征的图像。传统方法依赖于 微调，这种方法成本高昂且难以扩展。为了应对这些限制，社区积累了一个不断增长的微调模块和适配器库，其中每个组件都针对特定的生成需求，并共同作为处理新需求的基础。这自然提出了一个问题：我们是否可以系统地利用这个不断扩展的生态系统来更好地完成用户指令，而不是重复训练新模型？为此，我们提出了 Polaris，这是一个智能检索框架，可以根据用户的指令自动从模型库中选择并集成合适的模型。关键的见解是，利用如此庞大的异构池不仅需要在数千个候选模块中找到最相关的模块，还需要有效地将它们对齐以进行指令驱动的生成和编辑。 Polaris 通过索引超过 6,500 个检查点和 75,000 个适配器，并根据用户的输入和指令检索最相关的组件来解决这一挑战。在此过程中，它无需任何额外的训练即可提供可扩展、可控且协调一致的生成。