StratMem-Bench：评估虚拟角色对话中超越事实回忆的策略记忆使用情况

虚拟角色实现逼真的类人对话不仅需要简单的记忆和回忆过去的事件，还需要策略性地利用记忆来满足事实需求和社交参与。当前的记忆利用相关（例如，记忆增强生成、长期对话等）基准忽略了这一细微差别，将记忆主要视为事实的静态存储库，而不是在对话中战略性部署的动态资源。为了解决这一差距，我们设计了 StratMem-Bench，这是一个新的基准，用于评估以角色为中心的对话中的策略记忆使用情况。该数据集包含 657 个实例，其中虚拟角色必须导航包含所需记忆、支持性记忆和不相关记忆的异构记忆池。我们还提出了一个具有不同评估指标的框架，包括严格记忆合规性、记忆集成质量、主动丰富分数和条件不相关率，以评估虚拟角色的策略记忆使用能力。 StratMem-Bench 上的实验利用最先进的 大语言模型 作为虚拟角色，表明所有模型在区分所需记忆和不相关记忆方面都表现良好，但一旦将支持性记忆引入决策过程，就会陷入困境。