论文
eMoT:经符号锚定与记忆腐蚀的演化记忆思维
eMoT: evolving Memory-of-Thought via Symbolic Anchoring and Memory Corrosion
摘要
虽然大型语言模型 (LLM) 在多步推理任务上取得了令人印象深刻的性能,但其可靠性始终受到关键限制的阻碍,例如无约束的幻觉和糟糕的数值计算。从根本上说,这些问题的出现是因为标准模型将推理视为一种短暂的、一次性的生成过程,而不是保留和完善成功的程序逻辑。为了应对这些挑战,我们提出了 eMoT(进化思维记忆),这是一个统一的框架,通过将推理轨迹视为动态的、进化的记忆而不是静态模板来稳定多步推理。该框架主要由三个相互关联的模块组成:(i)记忆腐蚀机制,增强高效用推理结构,同时逐渐衰减不太频繁的推理结构; (ii) 符号锚定引擎,利用 Python 进行确定性计算,就像人类使用计算器一样; (iii) 一致性驱动的细化过程,使神经推理与符号结果保持一致,减少逻辑差异的积累。在多个推理基准中,eMoT 比标准思想链和结构化推理基准提高了准确性和解决方案一致性。在传统任务 Game of 24 上,eMoT 实现了 100% 的准确率,超出基准高达 17.6%。对数学任务 GSM8K、ASDiv、SVAMP 和 MGSM 的评估进一步显示了多步数学推理的一致增益。在我们的评估中,尽管使用了基线功能有限的轻量级骨干模型,但我们仍实现了卓越的性能。与依赖大规模模型的替代方法相比,我们的结果表明,性能增益从根本上是由 eMoT 框架的推理控制驱动的,而不是纯粹的模型大小。
