LLM 中的信息反局域性和局域性偏差

我们考虑基于 Transformer 的语言模型 (LLM) 学习我们所说的 k-反本地语言的能力，即在任何 $k$ 连续符号范围内没有互信息的语言。我们用不断增加的 $k$ 构建这样的语言，发现在它们上训练的 LLM 无论反局域性如何都实现了类似的交叉熵损失，但在更多反局域语言上收敛得更慢。我们的研究结果支持非局部依赖更难学习的观点，但这种偏见的证据来自学习速度而不是学习成功。