论文
NAVER LABS Europe 向 2026 年短期指令提交
NAVER LABS Europe Submission to the Instruction-following 2026 Short Track
摘要
在本文中,我们描述了 NAVER LABS Europe 在 IWSLT 2026 上向指令跟踪语音处理短程赛提交的申请。我们再次参与约束环境,开发能够联合执行从英语语音到中文、意大利语和德语的 ASR、ST 和 SQA 的系统。在去年短道速滑比赛中排名第一的之前提交的内容的基础上,我们更新了多阶段训练流程,用 SpeechMapper 替换了语音投影仪,SpeechMapper 是一种仅使用 ASR 数据学习语音到 LLM 嵌入投影仪的方法。此外,我们还引入了一个合成的 SQA 数据集 fakACL,由人工生成的科学演示组成。该数据集是通过提示 LLM 主干、对生成的对话进行分段并使用 SeamlessM4T-large-v2 合成语音来构建的。改进的语音投影机制和特定领域的合成数据的结合使我们的模型能够超越去年最好的短轨系统,同时更加紧凑并依赖于较弱的 LLM 主干。今年的结果使我们的系统在短道速滑总体排名中并列第一。