来源识别不是适应性测试：衡量合成数据归因的极限

对模型生成的数据进行重复训练可能会降低后续模型的性能。一种可能的响应是在决定重用哪些生成的示例时使用出处。我们测试了恢复来源的可靠性以及它是否有助于识别更好的训练数据。使用金融风险文本，我们首先确定生成的段落的来源，然后在重写后重复测试。生成器归因对原始段落的准确度为 98.7%，但在释义后下降至 53.1%，在风格重写后下降至 29.0%。与测试的人类比较集相比，生成与人类的检测仍然接近完美。然后，我们比较在三轮生成和再训练中选择生成示例的两种方法。一种使用源信息。另一个使用来自单独参考模型的分数。这两个规则选择了不同的示例，但计划的比较并未检测到结果模型退化的稳定差异。结果表明，确定数据来自何处和确定哪些数据对训练有用是不同的问题。因此，该实验将源身份、面向标准的选择和递归训练结果分开：出处分数和测试的面向标准的代理都不足以满足未来的递归行为。