I-Parakeet：完全整数化的手机 NPU 语音识别

在本文中，我们提出了 I-Parakeet，这是 NVIDIA Parakeet-CTC（0.6B 参数）的纯整数实现，可在智能手机 NPU 上运行，无需任何浮点运算符或 CPU 回退。现代 Conformer ASR 模型由于其尺寸而很难部署在边缘设备上，并且量化模型仍然会回退到浮点以进行数字敏感操作。这使得他们无法充分利用整数加速器，例如移动 NPU。为了实现这一目标，我们的贡献是三重的。首先，我们推导出 Conformer 核心的相对位置自注意力的整数公式。我们将其两个具有不同量化尺度的分数分支和相对移位融合为纯整数运算。其次，我们引入了极小极大优化的 Swish 近似，可以最小化 Swish 输出的最大误差。第三，激活的分层范围分析产生了两种有针对性的补救措施：用于 BatchNorm 输出的 INT16 网格和用于重尾预编码器激活的百分位校准。 I-Parakeet 在 LibriSpeech test-other测试集中实现了 4.97% 的 WER，在 Qualcomm NPU 上运行，实时系数为 0.048，比 CPU 基准快 7.5 倍。