沙丘社区
论文

I-SplineFlow：学习单调样条随机插值调度器以实现少步生成

I-SplineFlow: Learning Monotone Spline Stochastic Interpolant Schedulers for Few-Step Generation

Md Sakib Hossain Shovon, Md Rifat Ur Rahman, Md Abtahi Majeed Chowdhury, Yunhong Min, Jaesik Choi, Minhyuk Sung
模型推理推理加速

摘要

可以通过优化采样轨迹而不是网络的轻量级训练来加速具有预训练扩散和流动模型的少步生成。最近的一种方法将随机插值 (SI) 调度器参数化为一条平滑曲线，其控制点强制 SI 调度器必须满足的三个属性：固定边界条件、单调信噪比 (SNR) 和可微分性。现有的参数化使用全局支持的多项式基，其中每个控制点都会移动整个曲线，并且更高的表现力需要更高的程度，这在优化过程中耦合了调度的远距离区域。我们引入\emph{I-SplineFlow}，它用集成的单调样条（I-样条）参数化调度器。 I 样条将多项式次数与混合权重的数量解耦，因此可以在固定权重计数下为每个模型选择支持宽度和平滑度，并且紧凑支持的导数基础使调度程序雅可比行列式比贝塞尔基础更好地调节数量级。边界条件和严格单调的信噪比通过构造保持，对参数和闭合形式速度导数没有顺序约束。在扩散 (EDM) 和流（ReFlow、Simple ReFlow）模型中，I-SplineFlow 在大多数设置中比贝塞尔调度改进了几步 FID，最明显的是在最低 NFE 下，并且在几分钟内完成训练。消融表明，自由度和单调性约束都是需要的。该代码将在接受后发布。