论文
PAPER2LLM++:从研究论文持续自进化LLM
PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers
摘要
对LLM的研究持续揭示模型局限、成因与潜在解法,但这些人类发现与模型进化基本脱节:LLM不会自动从关于自身失败的新研究中学习。我们提出PAPER2LLM++,一个从研究论文持续自进化LLM的框架。它不只把论文当检索知识,而是把不断增长的文献当作模型改进的证据与监督流:对每篇新论文提取有证据支撑的发现,检验所报告的局限是否在当前模型中持续存在,并在需要时把发现转化为候选学习信号。try-evaluate-commit程序仅在改进目标行为、且不明显遗忘先前改进或退化通用能力时合入更新。在研究发现的LLM失败序列流上,我们展示模型能在保留先前增益的同时逐步纳入新发现。PAPER2LLM++由此向闭合人类发现与模型进化之间的环路迈出一步,使模型能持续从关于其局限与改进的研究中学习。