论文

发现权重空间中的物理方向:组成神经偏微分方程专家

Discovering Physical Directions in Weight Space: Composing Neural PDE Experts

模型优化模型合并

摘要

神经算子的最新进展使得偏微分方程(PDE)代理建模通过大规模预训练和上下文适应变得越来越可扩展和可转移。然而,在共享算子被微调到连续物理族中的多个状态之后,仍不清楚所产生的权重空间更新是否仅仅形成孤立的状态专家或揭示可重用的物理结构。从共享的家庭锚点开始,我们对低和高制度端点专家进行微调,并表明他们的更新可以分为家庭共享的适应和与底层物理参数一致的方向。这种分离将端点专家重新解释为权重空间中局部物理方向的有限差分探针,解释了为什么静态平均可以在状态之间进行插值,但会削弱端点特定的物理现象。基于这个观点,我们提出了校准条件合并(CCM),这是一种事后坐标读出方法,用于沿着这个物理方向组成神经偏微分方程专家。给定物理元数据、校准的坐标映射或短的观察到的采样轨迹前缀,CCM 推断目标组合坐标并为剩余的采样轨迹部署单个合并检查点。我们在反应扩散系统、粘度参数化二维纳维-斯托克斯方程和径向溃坝动力学上评估 CCM。在这些基准中,CCM 在外推机制中取得了最强劲的收益,相对于家庭锚点,分布外采样轨迹误差分别减少了 54.2%、42.8% 和 13.8%。跨 FNO 尺度、DPOT 式主干和消融的进一步实验证实,端点 微调 不是任意检查点漂移,但揭示了跨 PDE 机制的 无需训练 传输的可校准物理方向。