论文
FMA 协调的专家组合中的成本惩罚适应性：领域适应中分子记忆的实验证据
Cost-Penalized Fitness in FMA-Orchestrated Mixture of Experts: Experimental Evidence for Molecular Memory in Domain Adaptation
摘要
我们展示了 nanoFMT 七次受控运行的实验结果，nanoFMT 是一种自由市场算法 (FMA) 精心策划的 Transformer 和动态专家混合 (MoE) 管理。这些实验解决了高级 LLM 开发的一个基本问题：MoE 系统在不断变化的数据分布下满负荷运行时应如何管理其专家库？我们证明，成本惩罚的适应度指标与新生专家的线性宽限期相结合，产生了一个通过多样化而不是替换来积累领域专业知识的系统。核心结果是往返域转移实验，显示返回先前学习的域时恢复速度提高了 9-11 倍，且所需的专家诞生或替换为零。这种“分子记忆”效应——休眠的专家在其领域回归时生存并重新激活——在当前的教育部管理方法中没有类似的效果。初步成本分析估计，在适度的情况下，OpenAI 规模的提供商每年可节省 3910 万美元，并减少 27.1 GWh 的能源。