论文

VoiceMem:用于实时交互的流式双脑记忆

VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction

摘要

会话系统,例如双工语音语言模型(SLM),仍然缺乏流式、准确且具有同理心的记忆系统作为其灵魂。我们介绍了 VoiceMem,这是一种简单的内存架构,具有并行信息左脑、情感右脑和流式内存 I/O 机制。我们进一步构建了一个完整的管道,用于内存感知 SLM 训练、长期评估以及可互换内存后端的解耦部署。实验和实际部署显示出三个优势:i)准确性:在top-5检索下,左脑在top-200检索中比Mem0等经典系统高出近30分; ii) 情感和个人:右脑通过短视和长视情感归因和双节点角色建模,在三个角色基准上实现了最先进的性能,并且总分比之前的最佳系统提高了 4.29 分; iii) 实时且便宜:VoiceMem 在 134 毫秒内完成检索,完全在标准 VAD 延迟范围内,不会增加额外的对话延迟,同时保持高精度和低成本。这些结果表明,VoiceMem 为实时、个性化和情感感知的语音交互提供了实用的记忆基础。