残差流读取、循环状态记忆：Mamba模型中的全局工作区

摘要

Transformer表示的全局工作空间帐户可以扩展到状态空间语言模型吗？我们使用原始的 1000 提示配方，将雅可比透镜拟合到 Mamba-1、Mamba-2 和 Mamba-3 的残余流和循环状态。在每个测试的 Mamba 检查点的六个任务族中的至少五个上，联合残差状态读数可改善残差透镜上已知中间概念的恢复。在 Mamba-2 上，仅状态就超过了所有六个系列的残差透镜和 Logit 透镜；归一化的联合读数在两个组件上均提高了五个。时间图和单词列表实验显示，随着残余可见性的变化，早期内容仍保持状态可读。我们还提出了符号保护转向，这可以提高五种模型中匹配的口头报告试验中的协调交换的目标前五名的成功率。仅循环状态就支持这种口头访问。这些收益并不能一致地扩展到关系答案：受保护的编辑通常会输出编辑的概念本身，而 Mamba-3 的联合编辑可能会破坏成功的仅状态重定向。因此，循环状态提供了工作空间内容的补充载体，其恢复、持久性和因果使用需要单独的测量。

剩余流读取，循环状态记住：Mamba 模型中的全局工作区：图2：采用更新后约定，展示全部63个源模块中选定的Mamba-2排名图。在状态模块28中，从“Needle”结束到最终读出，Seattle一直排名第一，但其在残差流中的可见程度变化。对于emerald问题，May在残差流后段才变得可读，并始终不在状态的前100名中。两个提示都得到正确回答。 — 图2：采用更新后约定，展示全部63个源模块中选定的Mamba-2排名图。在状态模块28中，从“Needle”结束到最终读出，Seattle一直排名第一，但其在残差流中的可见程度变化。对于emerald问题，May在残差流后段才变得可读，并始终不在状态的前100名中。两个提示都得到正确回答。