潮汐：选择性状态空间模型中的隐式时间意识

选择性状态空间模型 (SSM)，例如 Mamba，通过将时间离散化步骤 $\TildeΔ$ 作为输入的学习函数来实现强大的每个标记表达能力。然而，这样做时，$\TildeΔ$不再代表物理采样间隔，限制了其不规则时间序列建模能力。连续时间 SSM，例如 S5，保留 $\TildeΔ$ 的物理意义，并原生处理不规则时间戳 ($\TildeΔ\equivΔ)$，但它们的动态仍然是线性时不变 (LTI) 的，限制了每个词元的表达能力。我们提出 \textbf{TIDES}，一种选择性 SSM 变体，它通过将输入依赖性从步长移到对角状态矩阵上来协调选择性和连续架构。因此，$\TildeΔ$ 保留了其与状态离散化相关的物理含义，允许模型本地处理不规则时间戳，而不会牺牲使选择性 SSM 有效的每个标记的表达性。我们在新颖的 \emph{Fading Flash} 实验基准上展示了这一点，这是一种紧凑的序列模型控制诊断，联合测试输入依赖性和对分布外 $Δ$ 值的外推，并隔离 TIDES 通过构造避免的当前最先进架构的不同故障模式。在大规模基准测试中，TIDES 在 UEA 时间序列分类和 Physiome-ODE 回归基准上设置了新的最先进的平均排名。代码位于：https://github.com/TaylanSoydan/TIDES。