论文
E = T*H/(O+B)：混合专家生态学的无量纲控制参数
E = T*H/(O+B): A Dimensionless Control Parameter for Mixture-of-Experts Ecology
摘要
我们引入 E = T*H/(O+B)，这是一个无量纲控制参数，用于预测专家混合 (MoE) 模型是否会发展出健康的专家生态或崩溃为死亡专家。 E 将四个超参数——路由温度 T、路由熵权重 H、预言机权重 O 和平衡权重 B——组合成一个量。通过 12 个受控实验（8 种视觉、4 种语言）总计超过 11,000 个训练周期，我们确定仅 E >= 0.5 就足以保证零死亡专家，消除了手工负载平衡辅助损失的必要性。我们在 CIFAR-10、CIFAR-100、TinyImageNet-200、WikiText-2 和 WikiText-103 上跨模式验证了这一点。出现了另外六项发现：（1）死去的专家可以复活——由平衡损失驱动路由器重新探索而触发； (2) 邻位毒性取决于数据集，不具有普遍性； (3) 任务复杂性改变了临界E阈值； （4）模型过拟合与专家生态健康度脱钩； （5）三层MoE自发地塌陷为两层功能结构； (6) 生态结构在 50 倍范围内不随温度变化。我们建议 E 作为 MoE 训练的统一诊断，类似于流体动力学中的雷诺数。