论文

SpanLift:突破生成ODE求解器的线性组合限制

Learning to Solve Generative ODEs Beyond the Linear Span

模型推理推理加速

摘要

扩散与流生成模型通过对学习得到的常微分方程(ODE)积分来采样,但高质量生成仍需多次顺序模型计算。求解器学习调整标量系数、时间步长或两者,在保持骨干模型固定的同时减少成本。研究发现此类更新存在结构瓶颈:每一步都受已有速度向量张成空间的限制,标量系数组合只能拟合空间内分量,无法补偿空间外残差。SpanLift在标量系数更新之外加入轻量空间残差算子,将固定基础求解器作为张成空间内的先验,并根据状态与速度缓存学习残差。算子通过匹配教师终点进行训练,保持预训练骨干不变,不增加骨干模型函数计算次数。学习到的修正可跨基础求解器迁移,主要作用于张成空间之外。在像素扩散、潜在流匹配和降水临近预报中,方法实现领先的少步采样。仅三次函数计算时,CIFAR-10 FID由8.16降至5.69,ImageNet FID由17.37降至11.83。