论文
ManifoldCache:通过约束流形缓存实现无需训练扩散加速
ManifoldCache: Training-Free Diffusion Acceleration via Constraint Manifold Caching
摘要
用于结构化科学生成的扩散模型必须产生满足物理、化学或生物学所施加的硬几何约束的样本,但在这些设置中的推理速度非常慢,需要对每个样本进行数百到数千次神经功能评估。我们将涵盖医学体积、分子构象、蛋白质骨干模型设计、晶体结构预测和多视图 3D 场景的八个最先进的模型统一在一个抽象约束流形扩散模型 (CMDM) 下,其中目标分布由外部指定的约束图定义的流形支持。所有现有的加速系列都在这一类上失败:量化在高维体积算子上耗尽了记忆;剪枝破坏了约束保真度;快速 ODE 求解器允许轨迹偏离约束流形;特征缓存启发式方法对约束几何形状视而不见,导致高噪声区域中的模式混乱。我们推出 ManifoldCache,这是第一个无需训练,根据 CMDM 基本原理设计的无数据加速器。关键的见解是条件分数正交分解为法向分量(强制满足约束)和切向分量(在流形内导航)。利用这种结构,我们证明噪声计划中点是一个尖锐的安全缓存边界:在它产生可证明的有界误差之前进行缓存,而在它之后进行缓存则保证轨迹的严格正分数遭受模式混乱,这种差距一直持续到边界。我们进一步证明,由于分数分解通过块雅可比行列式传播,更深的网络块在安全阶段允许更大的认证缓存步幅。生成的计划不需要校准数据,并且训练开销为零。
