论文

SPEAR:PDE基础模型的频谱解耦MoE与专家聚合

SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining

摘要

大规模预训练改善神经算子在不同偏微分方程(PDE)间的泛化,但已有PDE基础模型仍难处理异构动力学,共享表示可能引发知识干扰,混合专家(MoE)又面临专家冗余。我们提出SPEAR,用频谱解耦MoE神经算子与知识引导专家聚合进行大规模PDE预训练。SPEAR将潜特征分成低频和高频,使可迁移动力学共享建模、PDE特定模式专门学习。为处理冗余,根据数据集特定已学知识和路由偏好度量专家相似性,识别并整合相似专家。在十二个PDE数据集及多个下游基准上,预训练、微调和迁移表现更好。专家聚合将数量减少50%,同时保持或改善预测准确性,实现效率与泛化的平衡。