论文

超越语义:测量基于小语言模型的机器翻译中的细粒度情感保留

Beyond Semantics: Measuring Fine-Grained Emotion Preservation in Small Language Model-Based Machine Translation

模型评测模型能力评测

摘要

保留情感的细微差别仍然是机器翻译 (MT) 中的一个挑战,其中语义对等通常优先于情感保真度。本文评估了三种最先进的小语言模型 (SLM)——EuroLLM、Aya Expanse 和 Gemma——在回译过程中维持细粒度情感的性能。使用包含 28 个不同类别的 Reddit 评论的 GoEmotions 数据集,我们评估了五种欧洲语言的情感保存:德语、法语、西班牙语、意大利语和波兰语。具体来说,我们研究了(i)这些 SLM 保留情感的固有能力,(ii)情感感知提示在改善保存方面的功效,以及(iii)ModernBERT 作为 BERT 的现代替代品在 MT 评估中进行情感分类的表现。