论文
ReSCUE:无预分句长视频的流式手语重译
ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
摘要
同步手语翻译(SLT)对实时沟通很重要,但已有方法大多停留在假定输入已分句的句级离线设置,妨碍连续、未分段视频流中的真实部署。我们提出ReSCUE,一个针对未分段长手语视频的统一同步翻译框架,使训练与推断符合真实流式条件。ReSCUE结合推断感知训练,以处理部分输入、非手语停顿和多句上下文;稳定重译使预测低延迟且可修订,降低输出闪烁;句子提交机制用于在线分段与记忆管理。标准句级基准中,ReSCUE延迟更低,并在低延迟设置下取得最佳翻译质量。在长视频未分段数据上,它接近使用真实句界的oracle离线系统质量,同时延迟明显更低,显示真实流式场景的实用性。