基于长期神经符号记忆推进多模态智能体推理

大语言模型的最新进展推动了对开放世界、多模态环境进行操作的智能体的兴起。为支持长期推理，这类智能体通常配备外部记忆系统。然而，现有大多数多模态智能体记忆主要依赖神经表示与基于向量的检索，它们适合归纳式、直觉式推理，但在支持对现实世界决策至关重要的分析式、演绎式推理方面存在根本局限。为解决这一局限，我们提出NS-Mem，一个长期神经符号记忆框架，通过将神经记忆与显式符号结构和规则相集成来推进多模态智能体推理。具体而言，NS-Mem围绕记忆系统的三个核心组件运作：（1）由情景层、语义层和逻辑规则层组成的三层记忆架构；（2）由SK-Gen实现的记忆构建与维护机制，可自动从积累的多模态经验中整合结构化知识，并增量更新神经表示与符号规则；（3）混合记忆检索机制，将基于相似度的搜索与确定性的符号查询函数相结合以支持结构化推理。在真实世界多模态推理基准上的实验表明，神经符号记忆相较纯神经记忆系统在整体推理准确率上平均提升4.35%，在受约束的推理查询上最高提升12.5%，验证了NS-Mem的有效性。