关联状态通用 Transformer：稀疏检索遇到结构化循环

我们研究结构化循环状态是否可以作为语言建模的紧凑关联主干，同时仍然支持精确检索。我们引入 UniMatrix，这是一个通用 Transformer 风格系列，它在深度上重用共享循环块，并通过混合状态更新、ROSA 风格的剩余路径和词元条件嵌入调制对其进行增强。我们在字节级 WikiText-2、合成关联召回、Apple MPS 上的吞吐量分析以及三重词元交互的校正基准上评估这些模型。在小规模上，UniMatrix-Core 和 UniMatrix-ROSA 稍微优于 WikiText-2 上参数匹配的 Transformer，同时使用的参数少得多，达到每字节 5.084 和 5.083 位，而每字节为 5.124。主要的负面结果同样重要：在联想召回方面，原始 UniMatrix 系列仍然接近机会，而 Transformer 达到 25.4％，这表明仅压缩循环状态不足以进行精确查找。面向检索的后续产品 UniMatrix-Assoc 的帮助微乎其微。相比之下，添加了稀疏槽路由和直接指针 logits 融合的 UniMatrix-SparsePointer 在原始试点方案上达到了 75.6%，在无丢失后续方案上达到了 99.2%，同时使用的参数比 Transformer 基线少了 53.8%。消融表明，增益来自足够的插槽容量和精确的指针级输出路由。总体而言，结构化循环状态很有前途且参数高效，但强大的远程行为仍然需要显式稀疏检索和更好的内核。