字节跳动验证低码率神经音频编解码方案

字节跳动团队在 ICASSP 2026 低资源音频编解码器挑战赛（2025 LRAC Challenge）中以两支队伍参赛：teamwzqaq、nano-codec 分获赛道 1（透明编解码器）冠、亚军，nano-codec 另获赛道 2（增强编解码器）季军。赛道 1 在延迟≤30ms、计算复杂度≤700 MFLOPS（接收端≤300 MFLOPS）约束下提出端到端 AI Codec「IRIS」：编码器由多个残差模块加一维卷积与 GRU 组成，量化采用 12 层、每层 1024 大小的 RVQ（1kbps 用 2 层、6kbps 用 12 层），解码器以一维卷积投影量化特征并堆叠 Conv2FormerBlock 后经逆 STFT 输出。 配套优化包括加噪/加混响/多人混音/变调的数据增广、时域多周期与多尺度 STFT 及梅尔谱三类判别器联合优化、STFT 谱与梅尔谱与判别器与 RVQ 码本与 PESQ 多损失组合、训练中以 50% 概率不训练码本实现梯度直传，以及二阶段微调降低梅尔谱损失占比以修复中高频谐波。赛道 2 在延迟≤50ms、复杂度≤2600 MFLOPS 约束下提出全时频域架构 Enhance-Nanocodec：编码器仅保留幅度，解码器前设 ECD 层解耦光谱能量与内容，编解码共享 LKCAB 建模单元，解码器估计幅度与相位以同时实现降噪与去混响。 采用三阶段训练——纯净语音训练编码器/码本/解码器并用超比赛复杂度教师解码器指导、冻结量化器与解码器训练具备降噪能力的学生编码器、冻结编码器与量化器训练符合复杂度要求的学生解码器。所有系统统一支持 24kHz 采样率与 1kbps/6kbps 两档码率，训练数据仅限赛事提供。