论文
使用类型特征代理的零计算跨语言可迁移性估计
Zero-Compute Cross-Lingual Transferability Estimation Using Typological Feature Proxies
摘要
跨语言迁移描述了源语言中的知识如何使目标语言受益。定量测量它需要广泛的多语言预训练，就像之前的跨语言转移矩阵的工作一样。我们询问迁移是否可以根据免费提供的类型特征进行预测，以及高资源源语言的突出地位是否反映了类型或数据的质量和数量。我们证明类型学数据库包含有关跨语言迁移的廉价而密集的信号。我们在 24 种语言先验工作转移矩阵上的仅类型学随机森林得分为保留一种语言 $ρ{=}0.705$ 和 $R^2{=}0.49$，击败了非类型学控制 $ρ{=}0.62$，这验证了仅类型学预测重建昂贵的测量跨语言转移的能力。该信号在留一脚本排除和留一族排除协议中仍然存在，因此脚本和族混杂不能解释这种效应。通过将传输分解为类型学术语和资源和脚本偏差术语，我们发现最佳源排名对这种偏差敏感。相比之下，类型学不受这种偏差的影响，这使其成为一种零计算筛选工具，可以用模型拟合代替数百次训练运行。我们的代码可用 \href{https://github.com/dharmsen/typo-x-ling-transfer}{here}.