PDE基础模型的无监督适配：免真实解微调与NSLoRA

预训练偏微分方程（PDE）基础模型能够跨不同方程泛化，但将其适配到未见过的PDE系统通常需要稠密的解数据，而这些数据往往昂贵或不可得。为解决这一局限，我们提出一种基于PDE的无监督微调框架，无需真实解数据。我们首先在跨越不同空间尺度的多样化时间依赖PDE上预训练一个邻域注意力Transformer，得到可跨异构方程迁移的表征。在适配阶段，我们利用PDE残差与边界条件构建基于物理的目标，并通过低秩适配（LoRA）在未见方程上微调模型。针对标准LoRA在不同物理量上学习不均衡的问题，我们提出NSLoRA，一种经Newton-Schulz正交化的变体，可重新平衡适配过程。我们的方法在不使用任何真实解的情况下达到与监督LoRA微调相当的性能，并在跨越多个空间维度的异构PDE基准上持续超越有竞争力的神经算子基线与近期的PDE基础模型。