论文

SHiPPO:具有传输多项式投影的循环记忆

SHiPPO: Recurrent Memory with Transported Polynomial Projections

摘要

HiPPO 将循环状态内存语义提供为在线多项式投影的系数,但采用固定的通道坐标。相比之下,现代选择性 SSM 依赖于词元相关的控制和渠道交互。我们引入了 SHiPPO(Sylvester HiPPO),一种传输投影存储器先验,可将 HiPPO 系数存储器提升到移动通道框架中。对于任何固定或已实现的右传输路径,SHiPPO 将近似族和信道度量一起传输;以该路径为条件,状态是绑定移动框架中的普通 HiPPO,并遵循西尔维斯特系数动力学,保留左在线内存运算符,同时添加右动作传输。对于选择性 SSM 执行,我们导出了一种受限的组本地实现,具有控制器兼容的正确操作、指数调整更新、精确的块仿射扫描和循环解码。我们还给出了同时可归约性标准,用于识别正确的传输何时崩溃为静态混合加上独立的标量或块存储。受控诊断表明,较大的当前词元写入等级可以改善普通预测错误,但无法恢复对已写入内存的顺序敏感更改;传输记忆变体恢复了该信号,当传输路径被移除时该信号消失。具有交错绑定、操作和查询的有限域关联回忆诊断提供了补充的自回归证据,同时保留了首选的正确操作实现。总而言之,这些结果支持 SHiPPO 作为一种机制依据的传输记忆先验,证据集中于记忆机制而不是广泛的序列建模优势。