ReMova：微调大语言模型的英语到白俄罗斯语翻译

本文提出了白俄罗斯语特定的数据清理管道和英语-白俄罗斯语机器翻译的微调。我们的清洁管道与其他管道的不同之处在于，它采用了一种纠正工具，可以解决白俄罗斯语的两种拼写问题、训练数据中的噪声、其他语言的干扰以及互联网上白俄罗斯语中常见的其他拼写错误问题。对未过滤训练数据的匹配消融显示了所有微调模型的过滤带来的巨大好处，基于 LLM 的模型从过滤中获得的收益大约是专用编码器-解码器 MT 系统的两倍，这支持了白俄罗斯 MT 的主要瓶颈之一是数据质量的观点。