论文
评估语音与文本LLM对日语方言的鲁棒性
Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models
摘要
基于大语言模型（LLM）的对话系统近年来取得了显着的进步。然而，方言变化仍然是一个重大挑战，特别是对于处理语音输入的系统而言。基于 LLM 的语音语言模型 (SLM) 将 LLM 与语音处理组件集成在一起，在口语任务中显示出前景，但其理解方言的能力尚未得到充分研究。此外，目前还不清楚对基本 LLM 的方言理解如何影响 SLM 性能。本研究使用日语方言作为测试用例，研究了 LLM 和 SLM 的方言鲁棒性。我们将鲁棒性定义为方言与标准输入的性能比率，从而实现公平比较。我们的实验表明，SLM 的稳健性与其基于文本的对应物的稳健性相关。此外，使用方言数据和 微调 语音编码器进行训练都可以提高 SLM 的鲁棒性。