论文
填补机制：LM 如何在发展约束下学习填补空白依赖性？
Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?
摘要
对于人类来说，填充间隙依赖需要跨不同句法结构的共享表示。尽管因果分析表明这对于 LLM 来说也可能是正确的（Boguraev 等人，2025），但目前尚不清楚这种表示是否也存在于基于发展上可行的数据量训练的语言模型中。我们将分布式对齐搜索（DAS，Geiger 等人（2024））应用于基于 BabyLM 挑战（Warstadt 等人，2023）中不同数量的数据进行训练的 LM，以评估填充间隙依赖关系的表示是否在 wh 问题和主题化之间转移，这在输入频率方面差异很大。我们的结果表明共享但项目敏感的机制可以通过有限的训练数据来开发。更重要的是，语言学习仍然需要比人类更多的数据来学习可比的概括，这凸显了语言习得模型中特定于语言的偏差的必要性。