用于稳定自回归预测的混合神经时间积分器

对于长期混沌动力系统的自回归建模，训练和推理的稳定性是构建科学基础模型的主要挑战。我们提出了一种混合技术，其中将自回归 Transformer 嵌入到一种新颖的基于射击的混合有限元方案中，暴露出可证明稳定性的拓扑结构。对于前向问题，我们证明了离散能量的保存，而对于训练，我们证明了梯度的统一界限，可以证明避免了梯度爆炸问题。与视觉Transformer 相结合，这产生了承认结构保持动态的潜在词元。我们的模型参数减少了 65 倍，并且可以对混沌系统进行长期预测，其性能优于现代基础模型。融合组件的“迷你基础”模型表明，12 次模拟足以训练实时代理，比细胞内粒子模拟实现 $9{,}000\times$ 加速。