了解它，采取行动：研究 LLM 个性化中的内存利用率

随着 大语言模型 (LLM) 智能体演变成个性化同伴，记忆已成为一项核心能力。然而，LLM 面临着知识利用问题：即使它们完全存在于上下文中，它们也可能无法根据相关的用户偏好采取行动。当代理未能在先前共享的用户偏好应该重要的上下文中定制其响应时，不清楚模型是否未能记住该信息或记住了它但未能使用它。为了隔离这种故障，我们引入了一种解耦的评估范例，该范例可以针对相同的用户偏好管理配对的“知道”和“行动”测试。我们在 16 个系统和 5 种内存架构中进行了大规模实验，评估了嵌入在三个表达强度级别的 1,000 个偏好。我们的结果显示“知道”和“行动”结果之间存在巨大差距：代理通常通过用户偏好的回忆测试，但无法在配对行为场景中反映相同的偏好。虽然内存架构缩小了这一差距，但对于健康和治疗相关偏好的利用率仍然特别薄弱，在这些偏好中，不采取行动会带来最大的现实风险。