论文
MemCoT:通过内存驱动的思想链扩展测试时间
MemCoT: Test-Time Scaling through Memory-Driven Chain-of-Thought
摘要
大语言模型(LLM)在对大量、碎片化的长上下文进行因果推理时仍然遭受严重的幻觉和灾难性遗忘。现有的记忆机制通常将检索视为静态、单步被动匹配过程,导致严重的语义稀释和上下文碎片。为了克服这些基本瓶颈,我们提出了 MemCoT,这是一种测试时内存扩展框架,通过将长上下文推理转换为迭代的状态信息搜索来重新定义推理过程。 MemCoT 引入了多视图长期记忆感知模块,可实现 Zoom-In 证据定位和 Zoom-Out 上下文扩展,使模型能够首先识别相关证据所在的位置,然后重建推理所需的周围因果结构。此外,MemCoT采用了由语义状态记忆和情景轨迹记忆组成的任务条件双短期记忆系统。这种短期记忆记录历史搜索决策,并动态指导跨迭代的查询分解和修剪。实证评估表明 MemCoT 具有最先进的性能。在 MemCoT 的支持下,多个开源和闭源模型在 LoCoMo 基准和 LongMemEval-S 基准上实现了 SOTA 性能。