用于低资源多语言语音到文本翻译的自动梯度驱动参数共享

在资源匮乏的多语言语音到文本翻译中，跨语言的统一架构共享经常会引入阻碍融合的表示冲突。这项工作提出了一种通过挖掘训练梯度信息自动确定特定层共享模式的原则方法。我们的方法采用三种不同的分析策略：基于距离的语言聚类、用于容量分配的自/跨任务发散度量以及用于子空间对齐的联合分解和规范相关分析。跨四种语言对的广泛评估（使用 SeamlessM4T-Medium 架构）证明了翻译质量指标的持续改进。