扩散模板：可控扩散的统一插件框架

可控扩散方法极大地扩展了扩散模型的实用性，但它们通常被开发为孤立的、特定于主干的系统，具有不兼容的训练管道、参数格式和运行时挂钩。这种碎片化使得跨任务重用基础设施、跨主干传输功能或在单代管道中组成多个控件变得困难。我们提出了扩散模板，这是一个统一且开放的插件框架，它将基本模型推理与可控能力注入分离。该框架围绕三个组件进行组织：将任意特定于任务的输入映射到中间功能表示的模板模型、充当功能注入标准化接口的模板缓存，以及加载、合并一个或多个模板缓存并将其注入基础扩散运行时的模板管道。由于接口是在系统级别定义的，而不是绑定到特定的控制架构，因此可以在同一抽象下支持 KV-Cache 和 LoRA 等异构能力载体。基于此设计，我们构建了一个多样化的模型动物园，涵盖结构控制、亮度调整、颜色调整、图像编辑、超分辨率、锐度增强、美学对齐、内容参考、局部修复和年龄控制。这些案例研究表明，扩散模板可以统一广泛的可控生成任务，同时在快速发展的扩散主干中保持模块化、可组合性和实际可扩展性。所有资源都将开源，包括代码、模型和数据集。