DiscoSign：话语感知文本到手语光泽翻译

手语处理系统传统上在句子层面上运行，忽略了手语理解的关键话语现象。我们介绍 DiscoSign，这是一种基于语言研究的话语感知文本到手语注释翻译的计算方法。我们在基于模块化 大语言模型 (LLM) 的翻译框架中解决了三个关键现象：(i) 空间共指消解，实体在整个话语中保持一致的空间位置； (ii) 问答子句（QAC），服务于特定话语功能的伪裂结构； (iii) 概念词汇一致性，确保英语概念和美国手语 (ASL) 符号之间的稳定映射。传统的翻译指标无法捕捉话语层面的质量，因此我们引入了一套新颖的评估指标，旨在评估我们的框架所解决的话语连贯性的每个维度。对句子级和篇章级数据集的实验表明，我们的篇章感知处理方法相对于纯句子翻译显着提高了空间一致性和实体跟踪，同时保持有竞争力的单句注释翻译质量。我们的工作建立了第一个话语级文本到手语注释翻译的系统框架以及相应的评估方法。