VibeVoice-ASR-BitNet 技术报告

我们推出了 VibeVoice-ASR-BitNet，这是 VibeVoice-ASR 的压缩变体，针对边缘 CPU 上的实时推理进行了优化。我们应用针对每个阶段的计算特性量身定制的异构量化：VAE 声学分词器使用带有内核融合和 SIMD 优化的全管道 INT8 量化（I8_S），而自回归语言模型则采用 BitNet 风格的三元权重（I2_S）。为了在积极压缩下保持准确性，我们采用渐进式量化感知训练策略。为了进行推理，我们在针对 ARM 和 x86 平台的 ggml 框架内实现了自定义 SIMD 内核和融合运算符，在低线程数 CPU 上实现了实时识别 (RTF < 1)。在相当的模型大小 (~1.6 GB) 下，VibeVoice-ASR-BitNet 比 Whisper.cpp 快 1.6--2.3 倍，与 FP16 基线相比，精度仅略有下降。