沙丘社区
论文

SignGPT：通过无光泽翻译和生成实现大语言模型介导的手语交互

SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation

Ronghui Li, Jun Dong, Zhongyuan Hu, Zunnan Xu, Jun Zhou, Liyuan Chen, Shuoling Liu, Jiangpeng Yan, Jie Guo, Xiu Li, Linchao Bao
模型训练监督微调与指令调优

摘要

大型语言模型 (LLM) 为手语交互提供有限的支持。统一手语翻译 (SLT) 和生成 (SLG) 以将手语用作输入和输出，可以减少手语文本交互期间不同模型之间的切换。我们推出了 SignGPT，这是一个用于无光泽 SLT 和 SLG 的基于姿势的统一框架。 SignGPT 将身体、手和面部运动的部分感知分层表示集成到共享语言模型中，并采用非对称多标记预测和渐进式训练进行双向建模。我们通过基准比较、定性分析和组件消融在 How2Sign (ASL) 和 Phoenix-2014T (DGS) 上评估 SignGPT。一项针对 12 名聋人 ASL 手语者的探索性研究评估了大语言模型介导的手语反应流程，强调了统一建模支持手语对话 (SLC) 的潜力。