具有门控关联检索的通用三重潜在压缩

我们研究通用的三重潜在序列模型，该模型维持运行的词元状态和压缩的对内存路径，以捕获高阶词元交互，而无需特定于基准的解析。三重潜在系列改进了字节级 WikiText-2 和基于分词器的 MiniMind 语言模型基准上的小型 Transformer 基线，而以召回为中心的门控键值检索扩展改进了关联召回，但仍然对种子敏感，并且在当前参考实现中速度慢得多。