论文

Titans-as-a-Layer:会话语音情感识别的测试时内存

Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition

摘要

语音情感识别(SER)通常被表述为话语级分类,尽管会话情感取决于说话者通常的音域和先前话语建立的情感背景。语音语言模型提供强大的预训练声学和语义表示,并可以通过微调使其适应 SER 标签,但这种机制仍然缺少每个对话状态。我们研究测试时神经记忆是否可以提供这种缺失的上下文,同时保持大型音频语言模型(LALM)主干完整。在 Titans 的基础上,我们引入了一种即插即用的内存层 (MAL) 适配器,它将对话历史记录写入小型神经内存中,并将其作为音频词元对齐的残差更新读回,从而避免更改主机模型的词元位置。在不同的音频 LLM 和情感识别数据集评估中,我们的设计提高了 SER 在不同评估指标上的性能,支持测试时记忆作为会话 SER 的剩余上下文机制。