UNDO 触发器：状态空间模型中可逆语义状态管理的受控探针

状态空间模型 (SSM) 已被证明具有对无星序列任务和有界层次结构进行建模的理论能力 Sarrof 等人。 （2024）。然而，形式表达结果并不能保证基于梯度的优化能够可靠地发现相应的解决方案。现有的基准测试要么探测单调状态跟踪（如标准 Flip-Flop 任务中），要么探测结构嵌套（如 Dyck 语言中），但两者都没有隔离可逆语义状态检索。我们引入 UNDO Flip-Flop 任务来填补这一空白。通过使用 UNDO 扩展标准触发器，该任务需要一个模型来维护隐式有界堆栈并在非单调更新序列下恢复历史状态。我们在此框架下评估一层和两层 Mamba-2。两种变体都无法获得可证明可表达的基于堆栈的回滚机制，而是收敛于本地切换启发式，该本地切换启发式反转当前状态而不是检索存储的历史记录。在训练长度分布内进行的对抗性回缩压力测试下，两层模型的准确率下降至 41.10%，低于随机机会。结果证实是系统性的而不是偶然的失败。因果消融表明瓶颈在于检索，而不是存储。这些结果在架构原则上可以表示的内容和梯度下降可靠学习的内容之间划出了清晰的界限，这是理论表达性分析无法捕捉到的区别。