TALAS：教师锚定层对齐与自适应锐度感知最小化嵌入蒸馏

摘要

知识蒸馏 (KD) 已成为压缩大型预训练语言模型的关键技术。然而，现有的方法迫使学生严格模仿教师的句子嵌入或内部特征，通常会产生高昂的计算成本，并且由于固有的能力差距而产生次优的性能。为了应对这些挑战，我们提出了 TALAS（具有锐度感知最小化的教师锚定层对齐），这是一个统一的框架，可将分层（多层）对齐与稳健优化相结合。首先，我们引入了一种教师锚定机制，该机制有选择地将最终句子嵌入仅提取到学生的上层，从而在尊重容量限制的同时减少开销。其次，我们通过层对齐的 Self-蒸馏弥合了较低层的语义差距，它使用嵌入空间中的内部几何关系约束自上而下地传播知识。最后，为了防止学生记住逐点的教师噪声，我们将自适应锐度感知最小化（ASAM）集成到训练目标中，引导模型趋向平坦最小值以增强泛化能力。标准句子嵌入基准的实证结果表明，TALAS 始终优于强大的蒸馏基线，同时在计算成本和内存占用方面实现了卓越的训练效率。