论文
GroupAssistBench:当群体助理需要的不只是记忆召回
One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough
摘要
记忆的价值不仅在于召回,还在于利用它来提供适当的帮助。最近的基准测试测试个性化和 agentic 任务中的记忆使用情况,但很少评估没有固定答案或跨多个参与者集成的帮助。群组聊天使这两个挑战变得更加严峻:助理必须整合来自多个成员的信息,跟踪一段时间内的修订和冲突,并为群组提供一个响应。然而,现有的群体记忆基准依赖于合成对话,并继承了一般记忆基准的受限评估,侧重于对封闭集合上的固定答案或决策的召回。我们推出了 GroupAssistBench,这是第一个来自与已部署的群组助理进行的真实群组对话的记忆基准测试,涵盖 50 个群组中的 80,299 条消息,成本超过 53,000 美元。在相同的历史记录中,GroupAssistBench 通过参考答案评估记忆召回 (L1),通过单个、分布式和冲突记忆 (M1--M3) 评估没有固定答案的服务请求的记忆使用 (L2)。请求经过验证需要组历史记录,记忆锚定到其来源,L2 使用定制的规则,并根据真实用户反馈得出惩罚。在对具有完整上下文、检索方法和记忆系统的前沿模型的评估中,最强的记忆系统在召回方面可与完整上下文相媲美,但在使用方面却远远落后,特别是对于分布式和冲突的记忆。两个附加内容将检索到的记忆联系起来,并将记住的事实绑定为回答约束,从而带来一致的收益,这表明群体记忆系统必须改善使用,而不仅仅是召回。
