什么时候产生更多的帮助？将固定源合成与合成数据扩展中的源扩展分开

合成数据可以通过两种途径进行扩展：源扩展（SE），通过添加种子材料或生成器来扩大源；以及固定源合成（FSS），它保持源固定并扩展生成预算。现有的尺度研究通常会随着数据的增长而扩大数据源，将 SE 与 FSS 混为一谈，导致 FSS 的探索不足。我们通过固定种子问题池和教师模型来隔离 FSS，仅改变拒绝抽样 (RS) 下每个问题的响应预算。我们将修正的缩放定律应用于 FSS，从重复采样如何覆盖固定源中推导出来。根据经验，导出的形式适合低预算，可以预测每个被评估的师生对在最高预算下的表现。在匹配的总样本预算下，SE 和 FSS 在小预算下具有可比性；在预算较多的情况下，添加种子问题的效果优于将相同预算花在更多答案上的效果。然而，在 FSS 中，无论是从现有种子合成额外问题还是改变合成协议，在匹配的预算下都无法优于普通 RS。因此，FSS 是一个有界的缩放轴和用于比较合成协议的受控设置。我们将发布我们的代码和数据以方便进一步的研究。