论文
继续、适应或让步:依次适应全双工代理中的重叠语音
Continue, Adapt, or Yield: In-Turn Adaptation to Overlapping Speech in Full-Duplex Agents
摘要
全双工评估通常强调座席是否继续讲话或停止讲话。该二元无法表达人类通常使用的第三种反应:继续说话,同时结合听众刚刚贡献的内容。贡献可能是遗漏的单词、更正或澄清。我们引入 Duplex Cue,这是对全双工语音代理中的 \emph{轮流适应} 的评估。 Duplex Cue 将听众的意图(反向通道、协作或打断)与说话者的行为分开:继续保持不变、在轮流中适应或让步。改编包括致谢和内容修订。在一项单模型案例研究中,我们使用来自即兴英语对话的 300 个经人类确认的线索,将记录的人类反应与重放听众音频时生成的 PersonaPlex 延续进行比较。我们保留了 208 对,其中当前说话者在提示开始时处于活动状态,并且在每种情况下都有可评分的响应。在 66 个协作对中,录音说话者在 68.2% 的情况下适应,而 PersonaPlex 的这一比例为 34.8%。否则该模型将继续保持不变 (42.4\%) 或收益率 (22.7\%)。这些发现说明了为什么评估自然语音交互需要测量代理如何响应听众的贡献以及它是否继续说话。