低资源语言表示的几何结构

LLM 中低资源语言和高资源语言之间的性能差距众所周知，但仍不清楚哪些内部模型因素导致了这些差异。在本文中，我们通过表征几何的视角来描述这种差距。比较 30 种语言的隐藏表示的几何属性表明，LLM 几何与语言数据可用性系统相关。最一致的效果是在最后一层，其中低资源语言表现出表征退化。为了解决这个问题，我们研究了正则化项在持续预训练（CPT）期间惩罚退化的有效性。将 9 个碱基 LLM 适应 10 种非洲语言的单语实验表明，几何正则化成功地减少了 CPT 期间的表征退化。对于较大的模型，基于余弦相似性的正则化比普通 CPT 稍微提高了性能，在最具挑战性的任务上获得了更一致的收益。我们确定 LLM 中低资源语言和高资源语言的表征几何是明显不同的，并且有针对性的几何干预是提高低资源语言 CPT 的可行策略。