论文

AlignAtt4LLM:IWSLT 2026 同步语音翻译任务中用于仅解码器 LLM 的快速 AlignAtt

AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

模型推理解码与生成控制

摘要

我们描述了 AlignAtt4LLM,这是一个 IWSLT 2026 同声语音翻译系统,适用于英语到德语、意大利语和中文。该系统是一个同步级联:具有强制对齐功能的 Qwen3-ASR 会生成增量更新的源转录本,而 Gemma-4 E4B-it 在 MT 端 AlignAtt 策略下转换该前缀。据我们所知,这是 AlignAtt 首次应用于仅解码器的 LLM,其中不存在早期 AlignAtt 系统使用的编码器-解码器交叉注意力。我们通过提出(1)提示中的显式源跨度,(2)翻译特定对齐头的离线选择,(3)草稿到源注意块的选择性qk快速重放,以及(4)运行时查询/密钥捕获来恢复可用的策略,以位相同的方式保留模型输出。在 IWSLT 2026 开发集上,AlignAtt4LLM 在 2 秒左右的低延迟机制和低于 4 秒的高延迟机制 CU-LongYAAL 中均优于为欧洲目标语言(英语到德语和英语到意大利语)提供的基线。英语到中文的结果更加复杂,但该方法与 Gemma-4 无关:因为 AlignAtt4LLM 仅需要确定性提示布局、校准注意力头和查询/键捕获,因此可以将相同的策略重新应用于非欧洲目标语言的更强的专注于翻译的解码器 MT 主干。