论文
掩码扩散机器翻译的长度自适应解码
Length-Adaptive Decoding for Masked Diffusion Machine Translation
摘要
机器翻译测试屏蔽扩散语言模型(dLLM),因为每个源标记都必须忠实呈现,而固定画布解码必须在去噪之前选择目标长度。现有的掩码扩散解码工作主要研究标记的解密顺序,尽管这种长度决策对覆盖率和冗余有直接影响,但其长度决策尚未得到充分探索。我们引入了 Entropy-Valley (EV),一种 无需训练 长度选择器,它通过全掩模前向传递的平均预测熵对候选目标画布进行评分,并选择主干最准备填充的画布。相对于使用训练语料库长度统计的基线,EV 从 En$\to$Zh、Zh$\to$En 和 En$\to$De 上的参考目标长度恢复了 COMET-22 增益的 64.9%、65.3% 和 33.0%。我们的诊断表明,降噪友好的长度不需要与参考长度匹配。三位翻译专家的评估支持 En$\leftrightarrow$Zh 的充分性增益,并为 Zh$\to$En 提供了更有力的证据。与在相同 微调 数据上训练的 LLaMA-3-8B 自回归 (AR) 模型相比,EV 系统与 En$\to$Zh 相关,并在 Zh$\to$En 上领先;预言机长度诊断进一步表明,在这种屏蔽扩散 MT 设置中,决定首先揭示哪些标记比如何提供目标长度更重要。