REDDIT：通过基于重放的分布编辑对 ASR 中的时间戳漂移进行防遗忘校正

现代自回归 ASR 系统可以将时间戳作为解码标记发出，从而无需帧级对齐器或推理时间后处理即可实现带时间戳的转录。我们表明，这些生成的时间戳可能会在较长的非语音跨度上漂移：转录内容可能仍然可信，但解码的时间轴会偏离音频。我们通过在 15 个经过评估的生成时间戳的 ASR 和音频语言系统中使用自建间隙和长间隙基准来研究这种非语音引起的时间戳漂移。朴素的时间戳校正 微调 可以改善对齐，但会严重降低非目标 ASR 行为，从而暴露遗忘问题。我们提出了 REDDIT（基于重放的分布 eDITing），这是一个轻量级的两阶段 后训练 框架，它可以纠正时间戳，同时避免这种灾难性的遗忘：它首先在模型自己的重放解码器上下文下编辑时间戳目标，同时匹配非时间戳标记上的冻结基本分布，然后应用一个简短的编辑前缀细化阶段。在此框架中，我们通过将 VAD 修剪的语音跨度与插入的非语音间隙和已知的串联偏移相结合，构建无需人工转录或人工时间戳注释的校正监督。在 Whisper-tiny 上，使用了 34.9 小时的定向校正音频，仅更新了 1.6% 的模型参数，将长间隙 MIoU 从 38.7% 提高到 95.0%，并将混合间隙域外 AAS 从 2752 ms 减少到 223 ms，同时将 CV-en MER 保持在 41.3%（普通 SFT 解码器调整为 524.2%）。