Motif-Mamba：用网络模体改善长程序列建模

长序列建模仍然是大语言模型的核心挑战，因为自注意力机制随序列长度呈平方级增长。Mamba 提供了一种线性时间的替代方案，通过选择性状态空间循环，但其主要的对角状态过渡限制了对状态维度的显式交互。我们提出 Motif-Mamba，这是一种结构化的状态空间模型，通过在 Mamba 中添加一个受模体约束的低秩循环路径来增强。灵感来源于三节点网络模体的动力学，该路径将隐藏状态投影到一个紧凑的动态子空间，施加模体引导的交互，并将结果映射回原始状态空间。这种设计增强了跨维度的通信，同时保留了 Mamba 的线性时间循环结构。在长序列扩展、语言建模基准和脑机接口解码等实验中，Motif-Mamba 骨干模型表现出一致的改进，表明模体引导的低秩动态为长距离序列建模提供了有效的结构先验。