COUNTERMEM：把经执行验证的反事实纠正写入Agent记忆

现有Agent记忆框架主要通过与事实世界的交互创建记忆，例如记住已执行动作的反馈，以改善未来任务表现。但它们很少在构建记忆时问“如果”：若采取不同动作，反馈是否会改变，这种反馈又如何成为有用记忆？直接在活动环境中取得这种反馈可能代价高昂，还可能改变比较所需状态。我们提出COUNTERMEM，一个跨任务构建和使用经验证反事实记忆的强化学习框架。动作失败后，COUNTERMEM从原状态的副本或重置状态出发，用可执行世界模型——如测试、证明检查器和求解器——评估局部替代动作。它连同原动作、纠正动作、已核验结果和复用条件一起保存改进。一项学习得到的记忆使用策略选择检索记录或跳过记忆，以平衡任务成功与交互成本，基础LLM保持固定。在留出评测中，记忆和策略均冻结。我们在六个领域的12种基准设置上评估COUNTERMEM。使用gpt-oss-120b时，它在全部12项基准上改善ReAct与Reflexion，相对于各自未增强版本平均提高12.6个百分点。在四领域、双底座的比较中，任务运行词元减少7.7%至42.0%，这一计算不包含离线选择器训练成本。进一步分析表明，移除验证或持久存储会削弱收益，而把已验证纠正用于不适合的决策，可能使收益逆转。代码将在论文接收后公开。