全面召回要付出什么代价？对代理内存系统的服务成本进行基准测试

长时间运行的对话代理越来越依赖记忆系统来避免每次重新发送整个对话，但服务成本却很少得到系统的基准测试。我们将三种记忆系统（Mem0、Hindsight 和 Mastra 观察记忆）与两种参考策略（固定大小的滚动窗口和重新提交完整成绩单）进行比较，跨越两个骨干网和最多 400 轮的对话，将每个成本测量与 665 个 LoCoMo 问题的答案准确性配对。首先，记忆系统的服务成本无法仅根据对话长度和消息大小来预测：跟踪两种参考策略的回归与记忆系统的误差有 18-69%，其成本由内部记忆行为驱动。其次，盈亏平衡分析表明，存储系统是否以及何时变得比完整转录本的服务成本更便宜，对系统和主干网高度敏感，从最便宜的前几十圈到最昂贵的 400 圈以内。第三，没有系统在两个轴上都获胜：准确度跨度为 21-54%，并且主干选择驱动器的成本与内存系统一样高。