论文
人工智能的性别进化:多代模型群体的群体遗传框架
The evolution of sex for artificial intelligence: a population-genetic framework for multigenerational model populations
摘要
人工智能开发的某些方面类似于群体过程,其中模型经过专门化,根据同行的输出进行再训练,或通过平均权重进行组合。这些实践导致了群体遗传学研究的生物学意义上的一代又一代的模型。在这里,我发展了这种平行性,并从有性生殖和无性生殖的角度解释了多代模型种群,正式重新组合了这两个领域。我在精确的继承模型、经过训练的网络(循环、前馈和变分自动编码器生成器)和大型语言模型中测试了这些类比,并表明它们通常成立,但存在一些可测量的特定于架构的偏差。众所周知,对模型输出进行递归训练会导致模型崩溃,这一过程之前被描述为类似于遗传漂变;我开发了以下所有内容。根据其父母的输出重新训练的学习者的最小模型准确地再现了赖特-费舍尔过程;添加到每一代中的经过验证的真实数据起到了移民的作用,令人惊讶的是,真实数据样本的绝对数量很重要,而不是它们的份额,就像群体遗传学一样。根据父母输出的平均值来训练孩子会抵消拥有多个父母的好处,匹配混合继承(并恢复詹金对达尔文的反对),而将父母结合起来,使每个人都保持其最强的贡献,从而保留它;合并后的语言模型专家超过了所有种子的父母(费希尔-穆勒效应);当血统学会了相互冲突的惯例而不是仅仅疏远时,它们就会变得生殖隔离,完全失去融合的能力。随着人工智能社会成为时间和空间上的社会,其继承的数学框架获得了预测能力。值得注意的是,这个框架几乎可以完全从生物学中改编而来。