AOT-POT：大规模 PDE 的自适应算子变换 预训练

不同偏微分方程 (PDE) 数据集上的 预训练 神经算子已成为在科学机器学习中构建通用代理模型的有前途的方向。然而，PDE 解算子固有的复杂性和结构多样性使得多 PDE 预训练 从根本上具有挑战性。现有方法主要通过增加模型容量来解决这个问题，同时保持目标解算子不变。受经典数值分析的启发，我们建议将复杂且多样化的解算子转换为更简单、更好对齐的形式，更容易联合建模。由于最佳变换因 PDE 类型而异，因此它必须是自适应的且依赖于输入，从而允许单个神经算子逼近整个算子族。我们将这个想法实例化为 AOT-POT（预训练 算子 Transformer 的自适应算子转换），它将隐藏表示扩展到多个并行流，在每个子层之前和之后自适应地聚合和重新分配它们，并通过 Sinkhorn 投影双随机矩阵混合流以实现稳定的训练。这些机制共同将不同的解决方案运算符重塑为可以通过单一架构有效建模的统一形式。根据经验，AOT-POT 在 12 个 PDE 基准上仅用 3% 的额外参数就实现了最先进的性能，将相对 L2 误差降低了高达 77.6%（平均 40.9%）。 微调 AOT-POT 进一步将域内 PDE 上的 L2 误差降低了 92%，域外 PDE 上的 L2 误差降低了 89%（预训练 期间未见过的类型），这表明自适应算子变换是推进 PDE 基础模型超越简单缩放模型容量的有效和补充方向。