论文
模型崩溃的流行病学:通过双层 SIR 动力学模拟合成数据污染
Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics
摘要
对合成数据的训练会导致模型崩溃,但现有分析将其视为单链退化。事实上,人工智能生态系统涉及交叉污染:模型从其他模型获取合成数据,生成新的合成文本,并污染共享语料库。我们提出了双层耦合的 SIR/SIRS 框架——一种现象学平均场模型,将数据语料库和人工智能模型视为两个相互作用的群体,每个群体都有通过跨层传输连接的易感、感染和恢复区室。 SIRS 变体(我们的主要建议)包含了免疫力减弱的情况,反映出经过过滤的语料库和重新训练的模型仍然容易受到再次污染。我们通过下一代矩阵推导出基本再生数 $R_0 = \sqrt{β_D β_M / [(γ_D+μ_D)(γ_M+μ_M)]}$ 并将标准流行阈值结果应用于双层系统。根据公共 AI 文本流行数据进行的基于场景的说明性校准在三种场景中产生超临界动态 ($R_0 > 1$); Sobol 敏感性分析将合成文本检测确定为最高杠杆参数。基于二分网络代理的模型确认了密集网络的平均场一致性($R^2 > 0.96$),但在异质性下会降低。 GPT-2 污染链实验(维基文本和莎士比亚共有 192 次运行)显示剂量响应退化和多样性损失与阈值图像定性一致。匹配预算源多样性实验(1,088 次运行)提供了暗示性证据,表明多源混合适度减弱了崩溃,但这种效应在污染分数较低时消失。干预分析将基于检测的过滤和群体免疫确定为最高杠杆策略。