当意图延迟到达时：延迟意图揭示下的全双工语音模型的基准

本机全双工语音模型可以在用户结束讲话之前做出响应，从而使模型的行为取决于最终话语以及意图定义信息到达的时间。现有的基准主要评估轮流机制，而安全评估通常假设在响应生成之前观察到完整的请求。我们引入 LateIntent-Bench，这是一个用于延迟意图揭示的配对基准。共享的模糊前缀出现在良性或有害的延续之前，使用受控的暂停来延迟分支变得可区分的时间。我们定义过早响应率（PRR）来衡量响应开始是否先于意图的揭示。对有害和良性参与的联合评估将安全选择性的变化与响应能力的一般损失区分开来。在 3,136 个会话中，四种本机全双工模型在延迟意图下表现出不同的响应计时模式。三种模型显示有害参与增加，同时保持良性响应性，而一种模型则失去了与两个分支的参与。在意图暴露后插入 1.5 秒的沉默可以使 PRR 保持在无暂停基线附近，并大大减少有害参与的变化。这些结果表明，仅评估完全指定的请求无法捕获新兴的时序模式，这凸显了评估全双工模型中延迟意图揭示的必要性。该代码将很快公开发布。