MemCollab：通过对比轨迹蒸馏进行跨代理记忆协作

基于大语言模型 (LLM) 的代理依靠记忆机制来重用过去解决问题的经验中的知识。现有方法通常以每个代理的方式构建内存，将存储的知识与单个模型的推理风格紧密耦合。在具有异构代理的现代部署中，自然会出现一个问题：单个内存系统可以在不同模型之间共享吗？我们发现，在智能体之间天真地转移记忆通常会降低性能，因为这种记忆将任务相关的知识与智能体特定的偏见纠缠在一起。为了应对这一挑战，我们提出了 MemCollab，这是一种协作记忆框架，它通过对比不同智能体在同一任务上生成的推理轨迹来构建与智能体无关的记忆。这种对比过程提炼了抽象推理约束，捕获共享的任务级不变量，同时抑制特定于代理的工件。我们进一步引入了一种任务感知检索机制，该机制可以限制任务类别的内存访问，确保在推理时仅使用相关约束。数学推理和代码生成基准的实验表明，MemCollab 持续提高了不同代理（包括跨模式系列设置）的准确性和推理时间效率。我们的结果表明，协作构建的记忆可以作为不同基于 LLM 的代理的共享推理资源。