论文
ECHO:全双工对话中上下文敏感轮流的匹配对比度基准
ECHO: A Matched-Contrast Benchmark for Context-Sensitive Turn-Taking in Full-Duplex Dialogue
摘要
全双工语音对话系统必须区分需要让出发言权的中断和允许继续讲话的反向通道。现有的基准通常独立评估事件,因此可能奖励固定的行动偏好,而不是上下文敏感的决策。我们推出 ECHO,这是一个针对中国全双工轮流的配对诊断基准。 ECHO 将具有相同重叠转录本的示例配对,但对比前面的多轮对话上下文,其中一个需要 Yield,另一个需要 Keep。它还包括用于诊断不必要的屈服的非谈话示例。我们引入了配对准确性,这需要对配对的两个成员做出正确的决策,并且不会将任何功劳分配给持续行动的策略。对多个全双工系统的实验表明,大多数系统对 \textsc{Yield} 表现出明显的偏差,在中断上的表现比在反向通道上好得多,而另一个系统则保持相对平衡。这些发现表明,仅打断评估可能会高估实际轮流的可靠性。 ECHO 及其元数据将公开发布。