论文
Flow-Factory:流匹配模型中强化学习的统一框架
Flow-Factory: A Unified Framework for Reinforcement Learning in Flow-Matching Models
摘要
强化学习已成为一种很有前途的范式,可以将扩散和流程匹配模型与人类偏好结合起来,但实践者面临着分散的代码库、特定于模型的实现和工程复杂性。我们引入 Flow-Factory,这是一个统一的框架,通过模块化、基于注册表的架构将算法、模型和奖励解耦。这种设计可以实现新算法和架构的无缝集成,我们在 Flux、Qwen-Image 和 WAN 视频模型上对 GRPO、DiffusionNFT 和 AWM 的支持就证明了这一点。通过最大限度地减少实施开销,Flow-Factory 使研究人员能够轻松快速地构建原型并扩展未来的创新。 Flow-Factory 提供生产就绪的内存优化、灵活的多奖励训练和无缝的分布式训练支持。代码库位于 https://github.com/X-GenGroup/Flow-Factory。