教师对代表等效课程的监督

知识蒸馏 通常被构建为对教师中要匹配的内容的选择 - 它的 logits、隐藏特征或样本关系 - 这预设了教师的表示具有要匹配的绝对坐标。事实并非如此：预训练的表示只能识别到正交和各向同性缩放等价类，因此学生应该学习教师的等价类，而不是其特征。组织事实是，能力是教师的输出函数，是通过集体行动的商进行分解的阶级不变量，因此目标在定义能力时准确地恢复能力。这使得绝对特征匹配不适定，并且可接受的监督成为目标类不变量（Gram 结构、CKA、主子空间）或首先对齐坐标、统一特征匹配、关系 蒸馏、对齐和嫁接在一个几何帐户中的问题。我们在 Qwen2.5 和 Llama-3.1 上验证了我们的框架。恢复研究恢复了损坏模型的表示（CKA ~ 0.99），但没有恢复其功能，而消融则隔离了原因：输出函数（logits）匹配驱动功能，而匹配隐藏表示则对齐几何图形而不恢复功能。恢复仅限于主体覆盖的区域，移植研究证实，边界重叠可以预测移植成功，但这是必要的，但还不够。