Q-BridgeNet：跨语言手语翻译的量化网络

大多数手语翻译 (SLT) 方法侧重于孤立的母语手语对（例如美国手语 - 英语）。将特定语言的 SLT 模型扩展到多语言翻译将通过实现不同手语和口语社区之间的交流来提高可访问性。然而，现有的多语言 SLT 方法仍然难以学习一个统一的模型，该模型可以最大限度地减少跨语言冲突，同时捕获共享的跨语言语义并保留不同手语之间特定于语言的变化。因此，我们提出了 Q-BridgeNet，这是一个多语言 SLT 的统一框架，可以共同缓解手语和口语双方的跨语言冲突。在手语方面，Q-BridgeNet 通过自适应分割和残差矢量量化来学习离散 Q 单元：共享基础码本提供与语言无关的语义原语，而特定于语言的残差码本则细化异构签名语义。在口语方面，多语言 LLM 经过微调，可以在 Q 单元空间中运行，利用跨语言先验来实现统一的 SLT 模型。 PHOENIX14T、How2Sign 和 CSL-Daily 上的实验表明，Q-BridgeNet 有效地缓解了跨语言冲突，在母语手语对上实现了最先进的性能，同时也展示了对非母语对的强大泛化能力。我们的源代码公开于：https://github.com/FengLiQ/Q-BridgeNet