用于平衡多语言文本嵌入适应的任务条件流匹配

尽管不同的任务需要根本不同的优化策略，但多语言文本嵌入模型通常使用跨不同任务的单一训练目标进行调整。我们引入了任务条件流匹配（TCFM），这是一种多语言嵌入适应框架，它有选择地将流匹配应用于翻译任务，同时优化检索、分类和配对分类任务，使其目标更好地符合其学习动态。 TCFM进一步将教师指导的表征保存与三阶段课程相结合，以实现稳定的适应。根据印度海量文本嵌入基准进行评估，TCFM 建立了一种新的最先进的技术，在各种多语言任务中持续提高嵌入质量，并在嵌入模型系列中进行推广。我们将在论文被接受后公开发布代码库和数据集。