论文

双语音素 BabyLM 中的跨语言效应

Cross-Linguistic Effects in Bilingual Phoneme BabyLMs

模型评测模型行为与机制分析

摘要

跨语言效应是双语第一语言习得的中心话题。人工学习者可以通过跨语言组合和学习条件进行受控比较来帮助研究 L1-L2 交互。最近的工作通过在发展​​合理的约束下训练双语语言模型来探索这个方向。然而,人类和模型学习者在根本上仍然存在分歧,其中一个主要区别是输入方式:儿童主要通过口头输入进行学习,而语言模型通常是在拼写文本上进行训练的。为了缩小这种差距,研究人员训练了语音音素表征的模型。在这项工作中,我们结合这些研究方向来训练具有音素输入的双语 BabyLM。我们将英语固定为 L2,并在德语、瑞典语、波斯语和巴斯克语中改变 L1,选择代表与英语的句法和音素库存距离的对比组合。我们的结果显示,音素输入下语法学习轨迹的 L1 相关变化比正字法输入更强,而早期词汇差异与音素库存相似性一致。