论文

OmniMem:自动研究引导发现终身多模态代理记忆

OmniMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory

上下文与知识记忆Agent记忆

摘要

AI智能体越来越多地在长时间跨度上运行,但其保留、组织与回忆多模态经验的能力仍是关键瓶颈。构建有效的终身记忆需要在横跨架构、检索策略、提示工程与数据管线的巨大设计空间中探索;该空间过于庞大且相互关联,人工探索或传统AutoML都难以有效遍历。我们部署了一个自主研究管线来发现Omni-SimpleMem,一个面向终身AI智能体的统一多模态记忆框架。从朴素基线出发(LoCoMo上F1=0.117),该管线在两个基准上自主执行约50个实验,诊断失败模式、提出架构修改并修复数据管线bug,内循环全程无需人工干预。所得系统在两个基准上均达到SOTA,相对初始配置在LoCoMo上F1提升+411%(0.117→0.598),在Mem-Gallery上提升+214%(0.254→0.797)。关键在于,最具影响力的发现并非超参数调整:bug修复(+175%)、架构变更(+44%)与提示工程(特定类别上+188%)各自单独的贡献都超过全部超参数调优的总和,展示了从根本上超越传统AutoML的能力。我们给出六类发现的分类体系,并识别出使多模态记忆特别适合自动化科研(autoresearch)的四个特性,为将自主研究管线应用于其他AI系统领域提供指导。代码见 https://github.com/aiming-lab/SimpleMem。

OmniMem:自动研究引导发现终身多模态代理记忆
图 1:OmniMem 的发现过程概述。 (a) 发现的架构:多模态输入经过新颖性过滤,压缩为 MAU,并通过金字塔扩展的混合密集稀疏图搜索进行检索。 (b) Mem-Gallery 上的自主优化轨迹:39 个实验将 F1 从 0.254 提高到 0.793 (+214%)。