AcquisitionSynthesis：使用采集函数生成目标数据

数据质量仍然是开发有能力、有竞争力的模型的关键瓶颈。研究人员探索了多种方法来生成高质量样本。有些工作依赖于拒绝采样：生成大量合成样本并过滤掉低质量样本。其他工作依赖于更大的或闭源模型来提取模型的弱点、必要的技能或作为数据生成基础的课程。这些工作有一个共同的局限性：没有一种定量方法来衡量生成的样本对下游学习者的影响。主动学习文献以习得函数的形式准确地提供了这一点。采集功能测量数据的信息量和/或影响，提供可解释的、以模型为中心的信号。受此启发，我们提出 AcquisitionSynthesis：使用获取函数作为奖励模型来训练语言模型以生成更高质量的合成数据。我们对数学、医学问答和编码等经典的可验证任务进行实验。我们的实验结果表明，(1) 使用 AcquisitionSynthesis 数据训练的学生模型在分配任务中取得了良好的性能（增益 2-7%），并且对灾难性遗忘更加稳健，并且 (2) AcquisitionSynthesis 模型可以为其他模型和从低到高的资源训练范例生成数据。通过利用获取奖励，我们试图展示一条超越静态数据集的模型感知自我改进的原则路径。