论文

PIMSM:基于物理的多尺度 Mamba,用于分布偏移下的稳定神经表示

PIMSM: Physics-Informed Multi-Scale Mamba for Stable Neural Representations under Distribution Shift

摘要

科学基础模型预计将在数据集、采集协议和部署域发生变化的情况下重用表示,但许多序列主干将科学时间结构视为要拟合的无约束模式。我们认为,这忽略了自然动力系统的一个核心属性:神经和大气时间序列是通过跨多个物理时间尺度的相互作用过程来组织的,而未能保留这种多尺度结构会导致分布变化下的脆弱性。我们将这种故障模式形式化为时间内核不匹配,其中模型使用有效的内存策略来适应分布动态,该内存策略未锚定到信号的物理时间尺度,从而导致表示漂移和传输性能下降。我们提出了基于物理的多尺度 Mamba (PIMSM),这是一种状态空间架构,它将频率范围(拐点频率)之间的频谱估计过渡点映射到特定于尺度的离散化参数,并将它们锚定到采集时间单位。在人类连接组项目 fMRI 中,PIMSM 提高了在严重时间上下文截断、极低资源传输和静息状态到任务状态泛化下的鲁棒性和表示稳定性。如果没有特定于模态的适应,相同的架构还可以在 Weather-5K 驻站空间分布外预测的所有报告视野和变量中实现最低的变量 MAE。这些结果支持时间尺度对齐作为科学基础模型的实用归纳偏差,该模型在部署转变时必须保持结构,而不仅仅是拟合相关性。