论文
当更新不再是学习：通过可学习的信息增益重新思考 LLM 自我进化
When Updating Stops Being Learning: Rethinking LLM Self-Evolution via learnable information gain
摘要
自进化让大语言模型 (LLM) 使用自己生成的数据迭代改进，但经常会遭受自进化退化：性能提高、稳定，然后下降。现有的方法在组件级别解决这个问题，针对发问者或解决者，并忽略了自我进化是一个紧密耦合的系统。我们提出了一个基于可学习信息增益的整体框架，该框架衡量一轮相对于前一轮提供了多少新颖的、可参数化的信息。理论上，这个增益等于两轮数据分布之间的 Kullback-Leibler 散度加上它们的熵变化。实际上，它是通过将一个小语言模型拟合到前一轮并通过负对数似然对新数据进行评分来估计的。基于此诊断，我们提出了 ATRI（通过信息增益进行自适应训练调节），它会在一轮内重新加权样本，并在信息增益仍然较低时停止跨轮训练。对流行数据集的实验证明了我们建议的优越性。