论文

MemSyco-Bench:代理内存中的阿谀奉承基准测试

MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

模型评测基准与评测资源

摘要

记忆已成为现代基于 LLM 的智能体的基石,支持它们从单轮助手演变为长期合作者。然而,记忆并不总是有益的:检索到的记忆常常会引发阿谀奉承的严重问题,导致代理与用户过度一致,而牺牲事实准确性或客观推理的代价。尽管存在这种新出现的风险,现有的记忆基准主要评估记忆是否被正确存储、检索或更新,而忽略了检索的记忆如何影响下游推理和决策。为了弥补这一差距,我们提出了 MemSyco-Bench,这是一个用于评估代理系统中内存引起的阿谀奉承的综合基准。 MemSyco-Bench 衡量内存何时影响决策以及如何使用有效内存。具体来说,它涵盖了五个任务,评估智能体是否可以拒绝记忆作为事实证据、尊重其适用范围、解决记忆与客观证据之间的冲突、跟踪记忆更新以及使用有效记忆进行个性化。所有相关资源均在 https://github.com/XMUDeepLIT/MemSyco-Bench 上为社区收集。