论文

具有预训练符号的物理动力系统的验证者引导模型发现 Transformer

Verifier-Guided Model Discovery for Physical Dynamical Systems with Pretrained Symbolic Transformers

模型推理推理验证与自校正

摘要

非线性物理系统的可靠预测是科学发现和工程决策的基础。然而,高保真度模拟的成本过高,而且机器学习替代品可能不透明,并且编码了有关系统动力学的假设,从而限制了普遍性。将合成 ODE 轨迹映射到方程的预训练 Transformer 提供了可解释的替代方案,有望在无需系统特定方程知识的情况下进行迁移。然而,将它们可靠地转换为高维物理数据仍然是一个开放的挑战。我们围绕 ODEFormer 作为符号骨干开发了一个验证者引导 (VG) 工作流程,使用动态和物理可接受性标准从多轨迹候选方程池中进行选择,从而实现迁移。在规范 Van der Pol 振荡器上,VG 在保留初始条件下的性能优于原始 ODEFormer 工作流程。然后,我们通过固定和变化雷诺数的坐标还原和符号发现来解决涡旋脱落,这是一种与社会相关的大气和等离子体系统中发生的现象。 VG 发现了固定参数降阶方程,可以恢复基本脱落振荡器和高次谐波,而无需特定于尾流的候选库或规定的纳维-斯托克斯结构,而交叉参数模型则可推广到保留状态。重建保真度本身并不能决定符号的可发现性,这凸显了潜在动态与骨干网预训练分布之间兼容性的重要性。这项工作建立了一种验证者引导的神经符号方法,用于自然科学中可解释和物理可审计的预测。