手语之间的直接翻译

手语翻译在手语和口语之间取得了实质性进展，而跨手语翻译的探索仍然较少。手语之间的直接翻译可以支持手语社区之间的交流，而无需共享书面语言。手语到文本、口语翻译和文本到手语模型的级联提供了一种途径，但可能会传播中间错误，并且需要三个连续的翻译阶段。我们开发了直接手语翻译，其训练受到跨语言并行手语稀缺的限制。为了解决这个障碍，我们采用反向翻译来从现有的文本符号语料库构建跨语言对：源符号是通过文本桥合成的，而目标符号仍然是原始语料库中的黄金符号。使用这些对，我们联合训练一个基于 Qwen3 的模型，用于文本到符号和符号到符号的翻译。后者直接从源签名生成目标签名，无需中间转录本。实验涵盖美国、中国和德国手语的六个方向，使用回译对和现有的跨语言手语对。在合成源上，直接转换在五个方向上改进了 BLEU-4，并降低了相对于级联的整体运动误差。在现有的测试对上，它在所有六个方向上将 BLEU-4 的级联性能提高了 1.91-3.87 个点。