论文

27B语言模型无梯度改写并验证自身权重

Language Models Can Rewrite Their Own Weights

智能体系统模型训练模型编辑与遗忘智能体自我改进

摘要

语言模型通常在一次训练后冻结和部署,进一步改进需要训练,而推理时的提示、Harness或额外计算在任务结束后消失。前沿模型已能编辑小得多的模型权重。我们研究模型能否通过自己的推理改写并改善自身权重,结果表明不需要梯度或训练,我们称之为自改写。给出自身权重、评分答案和运行自身的能力后,27B模型能诊断失败并编辑权重。预先固定的490道未见题中,一次修改提高6.6个百分点,另一会话的改动也有显著提升。模型仅在自身测试支持时提交更新,每次提交替换当前使用的改动,前八次会话中部署模型的准确率只升不降。收益保留在权重中,不增加单题推理成本,也无需前后训练设施,只需一个开放模型及单GPU上数小时。模型还从损坏副本定位异常矩阵,在不读完好权重的情况下写入新值。仅用文本数学题找到的修复,使六个未见图像基准准确率从7%升到70%,为无损模型的83%。在同一模型家族的四种规模中,2B没有编辑,4B和9B的改动破坏了模型,只有27B能对比答完与耗尽token时的隐藏状态并弱化区分它们的方向。模型改进有可能以会话方式完成。

27B语言模型无梯度改写并验证自身权重:论文配图
图1。27B语言模型无需训练改写自己的权重,在未见题上显著改善。(a)前八次会话各在留出的练习题上验证后决定是否提交修改。按会话发生顺序观察部署模型在490道留出题(每题8个答案)上的准确率。提交的修改替换部署模型,撤回则保留现状;所有会话自身从基础权重开始(E.9)。误差条为对同样基础答案的配对变化在题目层面的95%区间。预定配对检验中,第8和第2次会话的修改显著更优(各p<10⁻⁵),第1次不显著(表13)。(b)16,384 token限制内耗尽预算的答案比例。(c)用相同随机种子在第8次更新前后回答一题;摘录逐字保留,原题有删节。基础模型重复一个句子549次直至用尽预算,未作答。该例为16个新种子下稳健的七例中更新后答案最短者。a越大越好,b越小越好。