FBK 用于 IWSLT 2026 指令跟踪的长格式 SpeechLLM

本文介绍了我们向 IWSLT 2026 指令遵循共享任务提交的内容。 SpeechLLM 是为在受限环境下进行短格式和长格式语音教学而开发的。短道速滑方面，MCIF 表现强劲，SIFS 得分为 2.0708。对于长音轨，探索了三种语音分割方法，并引入了 HIFS 分数来解决不稳定的长音生成问题。实验结果表明，固定 30 秒分割提供了最稳健的长格式性能，获得了最高的 HIFS 分数 2.0663。进一步分析表明，幻觉主要表现为生成输出中的重复插入，对ASR和SSUM产生显着影响，而短格式能力在长格式扩展后大部分得到保留。