CMM：用双矩阵记忆拓展连续思维机器的循环计算

循环神经网络通常把信息压缩到单个向量循环状态，迫使短期计算和长期保留共享同一表征。以往扩展增加记忆容量或分离时间尺度，却缺少生物系统中快速神经元级处理与长期保留的组合。我们提出Continuous Memory Machine（CMM），以矩阵形式的短期和长期记忆状态承担不同功能。在Continuous Thought Machine（CTM）基础上，短期记忆跟踪近期神经活动，各自独立参数化的神经元级模型学习利用这些活动模式进行计算。持久长期记忆保存信息供以后使用，Transformer联合更新两种记忆，形成有表达力的双向读写：每个记忆库既能重组自身内容，也能读取和写入另一个记忆库。在算法、上下文学习和循环推理任务中，CMM超过广泛基线，比既有记忆增强网络显示更强泛化，同时保留CTM可解释的注意力模式。代码：https://github.com/SakanaAI/continuous-memory-machines。