长程语言智能体中的重尾记忆痕迹

长程语言Agent越来越依赖外部记忆作为冻结的世界模型，但当前的记忆系统通常仅根据任务成功或词元成本来判断。我们认为，缺失的对象是记忆使用的形式：在有限的上下文和重复检索下，智能体记忆可以集中在一个小核心上，而在长尾中留下罕见的状态，在那里预测错误会累积。我们通过保守的尾部审计研究了这种效应，发现集中度是可重复的，但取决于政策。随机游走Agent产生对数正态兼容的检索工件，而语义 LLM 策略产生最强的截断幂律兼容的核心尾迹。受此审计的启发，我们提出了核心-尾部世界模型（CTWM），这是一种基于等级的内存控制器，它使用单个指数 $τ$ 分配即时预算，同时保留汇总尾部。在合成图世界中，相对于图内存基线，CTWM 保留了完整的状态和转换覆盖范围，将提示标记减少了 5.9%，并将下半尾部预测误差降低了 13.6%。相同的配对比较在 ALFWorld 上提供了一致的词元节省，在 LongMemEval 上提供了 24.48% 的词元减少，并且总体精度奇偶校验。这些结果表明，重尾记忆痕迹不仅是有限检索的诊断，而且还是词元高效Agent世界模型的实用控制信号。