论文

面向可泛化长期物理模拟的潜在生成求解器

Latent Generative Solvers for Generalizable Long-Term Physics Simulation

模型训练预训练

摘要

我们研究跨异构偏微分方程系统的长视野替代模拟。我们引入了潜在生成求解器(LGS),这是一个两阶段框架,它(i)将不同的 PDE 状态映射到具有预训练 VAE 的共享潜在物理空间中,以及(ii)通过流匹配训练的 Transformer 学习概率潜在动力学。我们的关键机制是一个不确定性旋钮,它会在训练和推理过程中扰乱潜在输入,教导求解器纠正流形外推出漂移并稳定自回归预测。我们进一步使用流强制从模型生成的轨迹更新系统描述符(上下文),调整训练/测试条件并提高长期稳定性。我们对包含 $\sim$250 万条轨迹的精选语料库进行预训练,分辨率为 128^2$,涵盖 12 个 PDE 系列。 LGS 在短期内匹配强确定性神经算子基线,同时大幅减少长期内的推出漂移。在潜在空间中学习加上高效的架构选择,与非生成基线相比,FLOPs 降低高达 \textbf{70$\times$},从而实现可扩展的预训练。我们还展示了在有限的微调预算下对分布外 $256^2$ Kolmogorov 流数据集的有效适应。总体而言,LGS 为通用的、不确定性感知的神经偏微分方程求解器提供了一条实用途径,这些求解器对于长期预测和下游科学工作流程更加可靠。

面向可泛化长期物理模拟的潜在生成求解器
图1:Latent Generative Solver 概览。所有物理状态被统一映射到一个潜在空间,其中初始条件 𝐱 0 \mathbf{x}_{0} 被噪声扰动以覆盖流形外的自推演(self-rollout)状态,这些状态被引导回到干净的下一状态 𝐱 1 \mathbf{x}_{1} 。预测出的状态用于生成系统动力学描述符“context”,以区分异构的物理动力学。