作为潜在变量的转录策略：通过字级时序激活可控逐字 ASR

在异构注释数据上训练的现代 ASR 模型将转录风格（逐字与有意）视为不受控制的潜在变量，导致可测量的解码不稳定、评估混淆（高达 60% 的报告 WER 可归因于风格不匹配）以及不可靠的字级计时。我们证明模型已经对这两种风格进行了编码；挑战是受控激活。使用在并行逐字/预期转录对上训练的覆盖感知解码器任务标记，我们将德语不流利 F1 从 10% 零样本提高到 79%，尽管仅进行英语训练。纯英文版 微调 在两种语言的逐字准确性、不流畅检测和预期模式质量方面超越了所有基线。我们进一步引入了有监督的交叉注意力 微调，它可以将不流利语音的字级时间戳改进到超出强制对齐基线。最后，我们提出了 verbatimize，这是一项新任务，可以通过高质量的规范逐字转录来可扩展地创建和丰富语音语料库。