SIEVE：自然语言的样本高效参数学习

自然语言上下文（例如指令、知识或反馈）包含用于适应语言模型的丰富信号。虽然上下文学习通过提示提供适应，但参数学习仍然存在于模型权重中，并且可以进一步提高性能，尽管数据匮乏并且严重依赖于高质量跟踪或自动验证器。我们提出了 SIEVE，一种从自然语言上下文中进行样本高效参数学习的方法，只需三个查询示例。 SIEVE 使用一种新颖的合成数据生成管道 SIEVE-GEN，它利用了上下文可分解的见解。分解上下文使我们能够通过将合成查询仅与适用的上下文而不是整体配对来生成更高质量的采样轨迹，然后使用上下文 蒸馏 将上下文内化到模型中。我们在需要上下文的推理设置中进行评估，包括自定义域以及 RuleArena 和来自一本书的机器翻译任务。我们的结果表明，仅使用三个查询示例，SIEVE 就优于先验上下文 蒸馏 方法，演示了如何从自然语言实现样本高效的参数学习。