论文
27B语言模型无梯度改写并验证自身权重
Language Models Can Rewrite Their Own Weights
摘要
语言模型通常在一次训练后冻结和部署,进一步改进需要训练,而推理时的提示、Harness或额外计算在任务结束后消失。前沿模型已能编辑小得多的模型权重。我们研究模型能否通过自己的推理改写并改善自身权重,结果表明不需要梯度或训练,我们称之为自改写。给出自身权重、评分答案和运行自身的能力后,27B模型能诊断失败并编辑权重。预先固定的490道未见题中,一次修改提高6.6个百分点,另一会话的改动也有显著提升。模型仅在自身测试支持时提交更新,每次提交替换当前使用的改动,前八次会话中部署模型的准确率只升不降。收益保留在权重中,不增加单题推理成本,也无需前后训练设施,只需一个开放模型及单GPU上数小时。模型还从损坏副本定位异常矩阵,在不读完好权重的情况下写入新值。仅用文本数学题找到的修复,使六个未见图像基准准确率从7%升到70%,为无损模型的83%。在同一模型家族的四种规模中,2B没有编辑,4B和9B的改动破坏了模型,只有27B能对比答完与耗尽token时的隐藏状态并弱化区分它们的方向。模型改进有可能以会话方式完成。
