DuoMem：通过双空间 蒸馏 打造强大的设备内存代理

基于 大语言模型 (LLM) 的代理可以通过多轮与环境交互来解决复杂的程序任务，但这种能力通常取决于大型模型、长上下文和重复的推理调用。这使得高级内存增强代理难以部署在资源受限的设备上。我们引入了 DuoMem，一个双空间 蒸馏 框架，它将程序性问题解决能力从大型教师模型转移到紧凑的学生模型。 DuoMem 提炼成两个互补的空间：(1) 上下文空间 蒸馏，用学生输入前的更高质量的教师生成的程序记忆取代学生生成的记忆；(2) 参数空间 蒸馏，根据成功的教师轨迹微调轻量级 LoRA 适配器。在具有挑战性的体现决策基准 ALFWorld 上进行评估后，DuoMem 将 4B 参数模型的任务成功率从 4.3% 提高到 77.9%，缩小了与 72B 教师模型 (87.1%) 的大部分差距，同时添加了不到 10M 的可训练参数和仅几兆字节的预先计算的教师记忆。此外，DuoMem 增强型 4B 模型在挂钟时间内完成任务的速度比 72B 教师快 3 倍以上，这使得它可以进行实时边缘部署，这对教师来说是一个挑战。跨越 2B-72B 参数的八个模型的广泛消融表明，两个 蒸馏 轴都贡献互补