迷失在状态空间：探索冻结的曼巴表示

通过构造，Mamba 的循环状态 h_t 是迄今为止看到的每个标记的压缩摘要。这提出了一个诱人的假设：如果我们在固定补丁边界提取 词元级 输出 y_t，我们可以免费获得语义句子摘要，没有池化头，没有 微调，也没有 [CLS] 标记。我们仔细检验这个假设。在五个基准（SST-2、CoLA、MRPC、STS-B、IMDb）中，我们比较了在严格的冻结特征探测协议下从预训练的 Mamba-130M 主干提取冻结句子表示的四种策略，在计算可行的情况下使用三个随机种子。结果不支持这一假设：补丁边界读数并不总是优于简单均值池。我们识别并量化了两种结构病理：严重的各向异性（平均成对余弦相似度 0.9999，标准差 0.000044）和原始最终 SSM 状态中的表征崩溃（所有三个种子的 CoLA 上的 MCC = 0.000，通过混淆矩阵确认）。我们进一步提出正交注入，这是一种改进的递归，它限制了每个