通过级联低秩拟合跟踪高阶演化

扩散模型已成为现代视觉生成的事实标准，包括潜在扩散和流匹配等完善的框架。最近，高阶动力学建模已成为生成建模中一个有前途的前沿领域。这些方法不仅仅学习将随机噪声传输到目标数据分布的一阶速度场，还同时学习高阶导数，例如加速度和加加速度，从而产生多种高阶扩散变体。为了表示高阶导数，简单的方法为每个阶实例化单独的神经网络，这会随着导数阶数线性缩放参数空间。为了克服这个计算瓶颈，我们引入了级联低秩拟合，这是一种受常微分方程启发的方法，通过应用由顺序累积的低秩分量增强的共享基函数来逼近连续导数。理论上，我们分析这些连续矩阵差异的秩动态。我们证明，如果初始差是线性可分解的，则高阶导数的泛秩保证是单调非增的。相反，我们证明，如果没有这种结构假设，一般莱布尼茨规则允许等级严格增加。此外，我们确定在特定条件下，可以设计导数秩的序列以形成任意排列。最后，我们提出了一种简单的算法来有效计算所提出的级联低秩拟合。