论文
SyriSign:阿拉伯文本到叙利亚阿拉伯手语翻译的并行语料库
SyriSign: A Parallel Corpus for Arabic Text to Syrian Arabic Sign Language Translation
摘要
手语是聋人和听力障碍 (DHH) 群体的主要沟通方式。尽管高资源手语有许多基准,但阿拉伯语等低资源语言的代表性仍然不足。目前,叙利亚阿拉伯手语 (SyArSL) 没有公开可用的数据集。为了克服这一差距,我们引入了 SyriSign,这是一个包含 1500 个视频样本、150 个独特词汇符号的数据集,专为文本到 SyArSL 翻译任务而设计。这项工作旨在减少叙利亚的沟通障碍,因为大多数新闻都是以阿拉伯语口头或书面形式传达的,而聋人群体往往无法接触到阿拉伯语。我们使用三种深度学习架构评估了 SyriSign:用于语义运动生成的 MotionCLIP、用于文本条件运动合成的 T2M-GPT 以及用于双语嵌入对齐的 SignCLIP。实验结果表明,虽然生成方法在符号表示方面表现出强大的潜力,但有限的数据集大小限制了泛化性能。我们将公开发布 SyriSign,希望它能够作为初步基准。