Metis：记忆基础模型

人工智能代理的最新进展越来越多地将本机功能内化到其底层基础模型中，从而产生了多模式基础模型和大型推理模型。然而，代理内存仍然主要通过外部模块实现，使得本机内存功能在很大程度上未被开发。在本文中，我们通过引入内存基础模型朝这个方向迈出了第一步，该模型为基础模型提供了本机内存功能。我们从两个角度对本机内存进行形式化：主干内持久且动态演变的内存状态，以及通过模型计算自主存储和利用信息的本机内存过程。我们证明了本机内存在架构、端到端优化和效率方面具有优势。基于这个公式，我们提出了 Metis，第一个记忆基础模型原型。 Metis 引入了一种新的架构，为基础模型配备了本机内存状态，允许将历史信息压缩到模型中并通过内存注意力进行访问。我们构建大规模的特定于内存的训练数据，并引入多个优化目标，以通过训练中期获取这些本机内存过程。 Metis的在线内存维护是无梯度的，内存更新只需要一次前向传递。在推理时，所有学习的模型权重保持冻结，而本机内存状态通过标准前向计算自主转换。通过大量的实验，我们证明 Metis 表现出本机记忆功能，并进一步对其优势、局限性和行为进行了详细分析。为了促进未来对内存基础模型的研究，我们发布了我们的项目和模型检查点。