论文
MetaHOPE:用于分析 MT 和 LLM 翻译错误的面向隐喻的评估框架
MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
摘要
在这篇意见论文中,我们提出了 MetaHOPE,一种用于评估隐喻翻译的错误严重性感知注释框架。隐喻给机器翻译(MT)和自然语言理解与处理(NLU、NLP)带来了挑战,因为它呈现出语义复杂性、上下文依赖性和文化嵌入的特征,这些特征可能导致 NLP 模型的歧义问题。为了研究最先进的 NLP 模型在翻译隐喻方面的表现,我们选择了三个代表性系统,即 GoogleMT、GPT5.4 和 Hunyuan-7b 作为神经 MT (NMT) 模型和 LLM。我们使用两个人工注释的隐喻语料库,包括 VUAMC 和 PSUCMC 来进行英汉和汉英翻译。我们使用的原始语料库是单语的,我们使用MetaHOPE框架进行了错误标注,并且还生成了供双语使用的人工后期编辑标准参考作为新资源。我们相信用于隐喻翻译标注的 MetaHOPE 评估框架、并行语料库资源以及 SOTA 自动翻译模型的错误分析可以发挥作用,并为隐喻翻译研究领域提供一些启示。我们在 github.com/Jiahui84/MetaHOPE 公开分享我们的资源