WhisperX 的上下文感知交错批处理

虽然 WhisperX 通过音频内批处理加速语音转录，但它会隔离音频片段，从而丢失连贯标点符号和术语转录所需的历史上下文。相反，标准 Whisper 会按顺序保留上下文，但会受到缓慢的推理和幻觉循环的影响。为了实现两全其美，我们提出了上下文感知交错批处理。通过使用 VAD 派生的片段边界，我们的算法稳定了 Whisper 的文本调节，使我们能够安全地维护跨批处理音频片段的连续历史上下文。正如长格式音频基准测试所证明的那样，这种方法降低了单词错误率 (WER) 并改进了专有名词转录，同时保持了高吞吐量的推理速度。