论文
微调还是上下文学习：形式语言学习视角的比较
Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective
摘要
大模型的微调与上下文学习两种模式，哪种更有利于语言掌握、归纳偏置是否不同，仍缺少一致结论。此前研究的实验设置差异妨碍了比较。我们提出具有精确语言边界、受控字符串采样且无数据污染的形式语言任务，并用判别式测试衡量能力：属于语言的字符串应获得比不属于语言的字符串更高的生成概率。实验发现，微调在分布内泛化上的语言掌握能力更强，而两者分布外泛化相近；以字符串生成概率相关性衡量的归纳偏置，在两种模式仅部分学会语言时相似，在更高熟练度下分化。不同规模与系列模型的上下文学习表现差异较大，且对语言词元词表敏感，微调则较少受此影响。形式语言因而提供了一种可控评测环境，帮助分离自然语言数据中难以孤立的模型行为。代码：https://github.com/bishwamittra/formallm。