DuDi：带跨语言言语器的双信号蒸馏

摘要

小语言模型 (SLM) 高效且可扩展，但其多语言能力在数十亿级范围内严重退化，特别是对于东南亚 (SEA) 语言。我们推出 DuDi，一种双信号多语言蒸馏框架，它将在线序列级信号与离策略和同策略词元级信号相结合。 DuDi 进一步使用跨语言语言器来完善教师反馈并提高多语言环境中师生的可迁移性。 SEA-HELM 跨多个模型系列、规模和师生设置的实验表明，DuDi 始终优于竞争性蒸馏基线。消融和分析证实，序列级优化、词元级监督和跨语言言语化为多语言 SLM 提供了补充和可迁移的学习信号。