大型音频语言模型中语音问答的机器取消学习

大型音频语言模型（LALM）最近在语音理解和问答（QA）方面表现出了强大的能力，但它们也继承了大规模训练数据带来的隐私风险，包括敏感信息的无意记忆。在这项工作中，我们研究了 LALM 中语音 QA 的机器取消学习，由于声学感知和事实知识之间的紧密耦合，这种设置比之前基于文本的大型语言模型 (LLM) 或自动语音识别 (ASR) 的工作更具挑战性。我们提出并评估了多种忘却策略，包括梯度上升、任务算术和基于对齐的微调方法，这些方法强制执行安全的拒绝响应，以消除私有知识，同时仍然保持核心能力的性能。通过对语音 QA 数据集的大量实验，我们表明这些去学习方法可以将隐私泄露率降低高达 80%，同时在非隐私语音 QA 和一般语音理解基准上保持近中性的性能。