Proteus：用于长上下文序列建模的增量内存激活

针对长上下文的基于注意力的序列模型的二次成本促使人们对基于记忆的模型进行越来越多的研究，这些模型可以将上下文压缩成紧凑的状态。然而，大多数现有的内存模型在整个序列中暴露静态内存。因为早期的词元没有面临压缩压力，所以它们占据了太多的自由度并“污染”了内存状态，为以后的上下文留下了很少的容量，并增加了存储的内容和接下来到达的内容之间的干扰。我们研究了一种增量记忆激活的新范例，其中记忆的有效容量随着上下文的增长而逐渐扩大。施加早期瓶颈迫使模型更有效地压缩历史记录，同时随着时间的推移释放新容量，减少干扰并提高对后续上下文的保留。我们在 Proteus 中实例化了这种范例，这是一种简单的机制，可以无需额外成本即可纳入广泛的神经记忆架构中。我们将 Proteus 应用于最先进的模型，包括 SWLA、Comba、Titans 和 Hope-Attention，并观察到标准语言建模和推理以及长上下文检索和理解方面的持续改进，并且收益随着更长的上下文长度而增长。总的来说，我们的结果表明静态内存不是最理想的，并且调度有效容量是一种简单且广泛适用的序列建模工具。