曼巴的时间步长与人类阅读时间一致

这项研究展示了流行的状态空间语言模型 Mamba 和人类读者的每个单词处理时间的一致性。在 Mamba 中，每层的循环状态转换概念上需要一段时间，即根据输入动态确定的离散时间步长 $Δ_t$。使用自然阅读数据集，我们表明 Mamba 的每个单词时间步长是人类阅读时间的重要预测因子，并且即使在控制 GPT-2 surprisal 等已知预测因子时仍然很重要。我们进一步建议，通过对 Mamba 架构和内部动态的形式化分析，Mamba 可以作为一个新的、有价值的镜头来观察人类实时语言处理与不断更新的记忆，因为它使我们能够了解每个模块（层）如何权衡短期和长期信息保留，以及噪声如何与动态、连续的记忆表示相互作用。代码可在线获取。