机器翻译下文本相似度不变吗？基于政治宣言语料库的证据

我们使用欧盟电子翻译服务将 2800 多个政党平台的宣言语料库（28 种语言）翻译成英语，研究了机器翻译下段落嵌入之间的余弦相似度不变的程度。我们不是直接测量翻译引起的语义转移，而是测量嵌入模型中成对相似关系的稳定性，并使用原始语言文本的模型间差异作为校准的不变性阈值。这对关于翻译如何与嵌入选择相互作用的四种假设产生了每种语言的非劣效性测试，并通过判决区分翻译明显保留语义结构的语言、明显降低语义结构的语言以及现有证据不能解决问题的语言。该框架与语料库和管道无关，并且自然地扩展到下游任务。应用到我们的数据中，它识别出十种具有翻译不变性的语言和四种具有可检测到的失真的语言。