论文
M3-DuplexBench：全双工口语对话模型的多回合、多语言、多域基准
M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models
摘要
全双工语音对话系统 (FDSDS) 可以一边听一边说话，从而实现自然的行为，例如顺利轮流、反向通道处理和用户打断处理。然而，多轮对话中的公平比较仍然是一个挑战。此外，现有基准测试对语言和对话领域的覆盖范围有限。我们提出了 M3-DuplexBench，这是一种针对 FDSDS 的多回合、多语言、多域基准。 M3-DuplexBench支持英语和日语，涵盖随意对话和多轮问答。此外，我们还在多种对话上下文设置下评估模型，包括单轮、仅限用户和教师强制的全上下文设置，以分析对话历史如何影响模型行为。最近的 FDSDS 实验揭示了模型特定的轮流特征、跨语言和领域的明显性能差距以及对话上下文的混合效应。