论文
回忆及超越:从长期多模式个人档案中记住到了解你
To Memories and Beyond: From Remembering to Knowing You across Long-Term Multimodal Personal Archives
摘要
随着人工智能系统演变成个性化的数字伴侣,一项核心功能是对用户的长期个人历史进行推理:不仅存储过去的事件,还跟踪纵向经验和不断变化的偏好。这里的进展受到评估的瓶颈,现有的长期记忆基准在很大程度上是合成的和纯文本的,它们忽视了锚定人类日常记忆的视觉记录,缺乏真正个性化所需的真实且因果关联的纵向数据,因此仍然局限于肤浅的事实回忆。我们推出了 RealLMem(真实世界长期多模态记忆),这是第一个根据真实的多年个人视觉档案建立的基准,并配有第一人称主观注释。 RealLMem 评估三个难度不断增加的认知层的模型:事实回忆、角色推理和预测个性化。我们进一步提出了 ChronoProfiler,一个时间加权分析模块,它计算用户属性的时间稳定性分数并将其应用为显着性先验,解决时间不一致偏好之间的冲突,并帮助模型在复杂的个性化决策中复合多个共同主动偏好。对 ReaLMem 上的前沿多模态大语言模型 (MLLM) 和记忆系统的广泛评估揭示了预测个性化是一致的上限,暴露了 MLLM 和记忆系统之间明显的性能差距和瓶颈,并表明高质量、及时通知的表示可以显着改善个性化。 RealLMem 和 ChronoProfiler 共同提供了一个真实的测试平台和一个简单有效的长期个性化机制,为未来的终身人工智能伴侣研究奠定了基础。