论文
我们之间还在吗？评估和提高语音助手对第三方干扰的鲁棒性
Still Between Us? Evaluating and Improving Voice Assistant Robustness to Third-Party Interruptions
摘要
虽然最近的口语语言模型 (SLM) 已被积极部署在现实场景中，但它们缺乏从主要用户正在进行的流程中辨别第三方中断 (TPI) 的能力，这使得它们很容易受到上下文故障的影响。为了弥补这一差距，我们引入了 TPI-Train，这是一个由 88K 实例组成的数据集，采用说话者感知硬底片设计，以强制执行中断处理的声音提示优先级；以及 TPI-Bench，这是一个综合评估框架，旨在严格测量欺骗性环境中的中断处理策略和精确的说话者辨别能力。实验表明，我们的数据集设计减轻了语义捷径学习的影响，这是模型利用语义上下文而忽略识别说话者变化所必需的声学信号的一个关键陷阱。我们相信，我们的工作为克服 SLM 中以文本为主的单模态依赖奠定了基础资源，为更强大的多方语音交互铺平了道路。该框架的代码可在 https://tpi-va.github.io 上公开获取