Tadpole：自动编码器作为在线学习 3D PDE 的基础模型

我们引入了 Tadpole，这是一种新颖的三维偏微分方程 (PDE) 基础模型，它解决了可迁移性、高维可扩展性和多功能性方面的关键挑战。 Tadpole 经过预先训练，作为自动编码器，使用高效在线数据生成框架生成的合成 3D PDE 数据。这可以实现大规模、多样化的训练，无需存储或 I/O 开销，这一点通过扩展到相当于数百 TB 的训练数据来证明。通过自动编码单通道空间作物，Tadpole 可以在具有不同数量的状态变量和空间分辨率的异构物理系统中学习丰富且可转移的表示。尽管仅作为自动编码器进行预训练，但 Tadpole 可以有效地应用于重建之外的多个下游任务，包括动态学习和生成建模。对于动态学习，我们提出了一种新颖的参数高效 微调 策略，该策略集成了低秩适应、潜在空间变换和重新引入的跳跃连接，以最少数量的可训练参数实现准确的时间建模。 Tadpole 在各种下游任务中展示了强大的 微调 性能，突出了其作为 3D PDE 学习基础模型的多功能性和有效性。 Tadpole 的源代码和预训练权重可在 https://github.com/tum-pbs/tadpole 获取