论文

三思而后行:通过自调节记忆架构对LLM智能体中的参数和非参数知识进行热力学仲裁

Look Before You Leap: Thermodynamic Arbitration of Parametric and Non-Parametric Knowledge in LLM Agents via Self-Regulating Memory Architectures

上下文与知识上下文工程记忆Agent记忆

摘要

现代LLM的架构包含深刻的认知极化。 LLM拥有编码在参数中的隐式直觉,但依赖于一种断开连接的显式机制来访问外部世界。 Agentic框架尚未弥补这一差距;相反,模型常常被迫陷入病态的“诱发性遗忘症”。在流行的“Retrieve-Always”范式下,智能体必须不信任其内部知识,使每个用户交互都成为必须进行外部检查的“白板”事件。这会产生反射性依赖,这种依赖在热力学上可能是浪费的,认知上脆弱的,并且容易受到不相关背景的影响。我们建议回归第一原则,将生物学格言“三思而后行”付诸实践。我们介绍 MARTA(元认知自适应检索和思维架构),这是一种连接参数和非参数知识的神经符号框架。 MARTA 没有将检索视为强制性的,而是将其建模为一种成本,仅当认为内部不足需要外部信息时才采取飞跃。通过允许智能体在行动前测量其自身想法的熵,MARTA 可以实现深思熟虑的检索和不确定性感知决策。我们的方法表明,赋予智能体内省的能力可以恢复内部知识和外部信息之间更有效的平衡。

三思而后行:通过自调节记忆架构对LLM智能体中的参数和非参数知识进行热力学仲裁的原论文方法或结果图
图 1:MARTA 示意图。该架构通过跨模态注意力门将内省状态(内部熵)与外省功能可供性(记忆键)融合在一起。这允许智能体在“跳跃”(检索)之前“观察”(测量不确定性)。