用于低资源抽象概括的可靠性门控多教师 蒸馏

我们从可靠性意识的角度研究了多教师 知识蒸馏 的低资源抽象总结。我们引入了EWAD（熵加权协议感知蒸馏），一种在教师蒸馏和基于教师间协议的参考答案监督之间路由监督的词元级机制，以及CPDP（容量比例发散保持），一种相对于异质教师的学生位置的几何约束。在两个 Bangla 数据集、13 个 BanglaT5 消融和 8 个 Qwen2.5 实验中，我们发现 logits 级别 KD 提供了最可靠的增益，而更复杂的 蒸馏 提高了简短摘要的语义相似性，但降低了较长输出的性能。跨十种语言的跨语言伪标签 KD 在 3.2 倍压缩下保留了教师 ROUGE L 的 71-122%。经人工验证的多法官 LLM 评估进一步揭示了单法官管道中的校准偏差。总体而言，我们的结果表明，可靠性意识 蒸馏 有助于表征何时多教师监督可以改进总结以及何时数据扩展胜过损失工程。