NPUsper：消除移动 NPU 上实时 Whisper 的冗余计算

我们推出了 NPUsper，这是一种实时转录系统，通过消除冗余计算，使 Whisper 在移动 NPU 上高效运行。为了避免先前流媒体系统使用的大量填充，NPUsper 从解码器交叉注意力中的时间模式在线检测幻觉词元，允许每个推理轮以最小的残留处理短音频输入。为了高效的移动 NPU 执行，我们提出受控展开，它将自回归解码作为 K 步块图执行，消除不必要的 KV 缓存计算并减少图调度开销。与基线相比，NPUsper 的每字延迟降低高达 4.84 倍，首次标记时间 (TTFT) 降低高达 33.2 倍，平均功耗降低高达 88.64%，同时保持可比的转录精度。该代码可从 https://github.com/npusper/NPUsper 获取。