自我进化智能体的潜在记忆的动态混合

要实现智能体的自我进化，需要在不断变化的任务序列中不断积累新知识，同时又不忘记以前获得的能力。现有的方法要么通过更新模型参数来内化知识，这会导致灾难性遗忘，要么依赖外部记忆，这无法真正增强模型的内在能力。我们提出了 MoLEM，一种基于动态专家混合 (MoE) 的潜在记忆框架生成混合。我们把多个专家作为独立的载体来生成记忆。路由器通过键查询匹配来选择专家并对其进行加权，并将聚合的潜在内存注入到推理过程中。推理的基本模型仍然完全冻结，所有经验知识都内化到附加模块中，避免灾难性遗忘。对于持续学习，每个训练阶段都与一个轻量级自动编码器配对，该自动编码器在推理时选择适当的路由组，并且不匹配任何阶段的输入回落到预训练模型。实验通过跨越数学、科学和代码领域的持续学习序列来训练框架。训练后，我们在相应的测试集上评估框架，以衡量持续适应阶段的任务学习和能力保留。在完整的连续学习序列之后，我们的方法将平均准确度比 Vanilla 预训练基线提高了 10.40%，而没有任何竞争方法在不同的训练顺序中始终超过该基线。