论文
TARQ:用于罕见词鲁棒自动语音识别的尾部感知重建量化
TARQ: Tail-Aware Reconstruction Quantization for Rare-Word Robust Automatic Speech Recognition
摘要
数据感知 后训练 量化 (PTQ) 最大限度地减少了小型校准语料库上每个标记的重建损失,并根据位置的经验频率隐式加权。对于 \textbf{A} 自动 \textbf{S}peech \textbf{R} 识别(ASR),这与尾部敏感风险不一致:名称、数字和特定领域的单词按比例接收很少的校准质量。我们提出 \textbf{Tail-Aware Reconstruction Quantization} (\TARQ),一个无标签的 PTQ 框架,通过 \textbf{\rareBAL} 将校准转向词汇尾部,\textbf{\rareBAL} 是一个封闭形式的每线性层规则,均衡公共/尾部质量,并与度量一致的残差校正配对。 \TARQ\ 不需要实体标签,不需要策划的校准集,不需要验证解码,也不需要额外的训练。在 W4G128 的 8 个 ASR 主干网络和 6 个数据集上,\TARQ\ 在没有聚合 WER 回归的情况下改进了平均稀有-\textbf{W}ord \textbf{E}rror \textbf{R}ate (rare-WER),在比较方法中实现了最低的跨语料库稀有-WER 波动,并在没有实体监督的情况下转移到富含实体的基准(ProfASR、ContextASR-Speech-En)。