对比很重要：了解上下文 微调 与目标上下文相关性的稳健性

上下文中的 微调 (IC-Train)，使用上下文中的标记示例来训练 LLM，越来越多地用于代替标准 微调，以进行领域适应和标记数据的持续吸收。我们研究了这种训练中产生的上下文学习能力的稳健性：微调模型在上下文示例范围从不相关到几乎相同的测试输入中是否表现良好？通过跨越 4 个开源 LLM 的 32 个配置以及机器翻译、文本到 SQL 和多语言语义解析的 8 个测试集，我们表明稳健性取决于一个被忽视的设计选择：在训练期间如何相对于目标选择上下文示例。事实证明，这两种流行策略在该范围内的互补部分上是准确的：随机上下文产生的模型即使将相关示例放置在其上下文中，也从相关示例中获得的收益很少，而检索到的相似上下文会削弱缺乏近邻的目标的准确性，并增加从上下文复制标签的倾向。跟踪权重学习、上下文学习和复制的探针将这些失败追溯到不同的训练动态，并表明在上下文内和跨批次引入目标上下文相似性对比，可以恢复整个范围内的鲁棒性。