通过添加少量 SALT 来改进跨语言标记表示

跨语言句子编码器可实现跨数百种语言的可扩展传输，为资源匮乏环境中的翻译挖掘和零样本学习等应用程序提供支持。尽管经过了句子级对齐的训练，但它们也越来越多地应用于 词元级 任务，例如幻觉检测和序列标记，从而暴露了训练和使用之间的不匹配。我们提出了 SALT，一种轻量级的 后训练 方法，通过将跨度级监督注入现有的句子编码器来改进词元表示。在五个多语言 词元级 基准测试中，SALT 在其中四个基准上取得了最佳总体结果，优于替代 微调 策略和竞争编码器。它还提高了跨语言检索和分类任务的句子级性能。这些结果表明，跨度监督是改善标记和句子表示的有效信号。