论文
细胞内学习：按顺序更新自身权重而不更改其发送的文件的语言模型
In-Cell Learning: Language Models That Update Their Own Weights in Sequence Without Changing the File They Ship
摘要
4 位量化权重指定舍入单元而不是单个全精度值。我们引入了细胞内学习，这是一种仅在这些细胞内编写新知识的范例，以便重新量化所提供的权重可以准确地再现所发布的整数代码和比例。 CellFill 通过冻结量化单元内有界的可训练位置来实现这一想法，并将更新作为单独的、可减法撤销的文件发送。在已发布的 Qwen3 和 Gemma 的 NF4 和 W4A16 版本中，从 1.7B 到 32B 参数，CellFill 写入真实事实语料库的 83-99%，同时返回每个约束权重的存储代码。注入的事实概括为释义和组合，并回答了已发布模型遗漏的 78-88% 的选定 PopQA 问题。连续的实验表明，排练保留了早期的知识，而可用空间和新任务的可塑性随着更新而下降。合并重新量化学习的权重以生成声明的主要版本，以测量的能力成本恢复空间。六任务写入-排练-巩固循环在两次 8B 运行中保留了至少 92.8% 的首次学习，并在每次折叠时记录了超过 69 亿个约束权重的零代码违规。这些结果定义了一个版本管理协议，其中次要更新按位保留已发布的量化工件，而主要更新是明确的、可测量的和可验证的。