语言再生：信息局部性对重建影响的调查

信息局部性，即句法相关的单词出现在一起的趋势，影响着人类语言处理和语言模型学习。虽然之前的工作已经研究了语言模型是否能够获取不可能的语言，但仍不清楚它们是否可以从此类输入中恢复自然语言，以及这揭示了它们的归纳偏差。我们通过用重建框架补充基于可学习性的方法来解决这个问题：微调 GPT-2 模型在不可能的语言上进行预训练，以从三种扰动类型重建自然英语。我们的研究结果表明，恢复的结构表现出比原始文本更短的依赖长度，反映了在无约束语言模型生成中观察到的局部偏好，并提供了仅可学习性实验无法揭示的架构偏差的定量特征。恢复难度随着局部性破坏的程度而增加。结构恢复（依赖 Triple F1）与表面恢复（精确匹配）分离，而流畅性与全局改组下的忠实重建分离。句子长度进一步调节性能：较长的句子在保留局部结构时有利于恢复，但在全局改组下会导致完全崩溃。最后，恢复难度跟踪跨扰动类型的可学习性难度，这表明信息局部性是管理两者的共享约束。