facebookresearch/midtraining-distillation：中期训练蒸馏 Switch Distillation 官方实现

本条以 2026-08-29 的仓库创建日归属周度，不将该日期作为关联论文发表日。本次保存的 README 将仓库定位为《Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall》（arXiv:2609.01532）的官方实现；该关联信息属于后续可见的项目说明。 Switch Distillation 按教师 logits 的熵进行路由，将低熵 token 送入蒸馏损失，最小实现的默认 q=0.2、T=2.0。README 报告其相较标准 KD 改善推理和事实召回，但这是作者效果描述，本次未运行训练。训练研究者可借鉴路由机制，在同样模型、数据与预算下做两类能力的对照验证。