SIGNET：跨语言手语翻译的运动级知识转移

手语翻译（SLT）由于其高时空复杂性、长序列以及需要在不依赖注释注释的情况下对多个发音器官进行建模的需要，仍然具有挑战性。现有的方法通常是针对单个数据集或语言量身定制的，并且难以扩展，同时忽视了手语之间的关系，而手语之间的关系可以提供更有效的跨语言迁移。我们提出了 \textbf{SIGNET}，一个能够实现跨语言手语翻译的运动级知识迁移的框架。我们的主要见解是，尽管手语在语法和词汇方面有所不同，但预训练的模型捕获了可以在数据集和语言之间重复使用的运动级视觉模式。 \textbf{SIGNET} 通过基于注意力的手动优先聚合机制集成了多个预训练的手语主干，指导门控融合网络动态选择最相关的专家。对四个基准（How2Sign、Phoenix14T、CSL-Daily 和 MeineDGS）的综合实验展示了最先进的翻译性能，并且 \textbf{SIGNET} 也超越了 WLASL 上的现有手语识别方法。