CORTEX：学习共享和专注于密集语言模型

大语言模型是在异构数据混合上进行训练的，其中不同的知识领域需要共享知识和专业化。现有的模块化方法通常在训练后通过可解释性分析强加显式组件或发现模块。在这项工作中，我们提出了 CORTEX，这是一种受学习动力学启发的框架，可以学习密集语言模型中的内部模块化。 CORTEX 将可训练矩阵划分为参数组，并从域条件梯度和跨域梯度相似性中学习模块分配。我们引入选择性损伤评分和模块域互信息来表征目标域损伤效应和对齐，并分析模块分配如何影响分配偏差和更新幅度之间的权衡。 160M、Qwen3-8B 和 Qwen3-32B 主干模型的实验表明，CORTEX 实现了最高的合成域精确匹配和最大的平均困惑度降低，同时在真实域评估和形成可识别模块方面保持竞争力。