论文
EchoChain:中断下状态更新推理的全双工基准
EchoChain: A Full-Duplex Benchmark for State-Update Reasoning Under Interruptions
摘要
当用户中断中间响应时,实时语音助手必须修改任务状态,但现有的语音对话基准主要评估基于回合的交互,而错过了这种故障模式。我们引入了 EchoChain,这是一个受控基准,用于评估语音中断情况下的全双工状态更新推理。 EchoChain 识别了中断后延续中的三种重复出现的故障模式:上下文惯性、中断遗忘症和客观位移。该基准测试生成场景驱动的对话,并在相对于助理语音开始的标准化点注入中断,从而实现受控的跨模型比较。在成对的半双工控制中,相对于中断运行,总故障下降了 40.2%,这表明许多错误是由中断下的状态更新推理驱动的,而不仅仅是任务难度。在评估的实时语音模型中,没有系统的通过率超过 50%,这表明中代状态修订还有很大的改进空间。 EchoChain 为诊断全双工语音交互中的状态更新推理故障提供了可重复的基准。