思考潜在的想法：无光泽手语翻译的新范式

许多 SLT 系统悄悄地假设简短的手语块直接映射到口语单词。这种假设不成立，因为手语者经常利用上下文、空间和动作即时创造意义。我们重新审视 SLT，认为它主要是一个跨模态推理任务，而不仅仅是简单的视频到文本的转换。因此，我们引入了一个推理驱动的 SLT 框架，该框架使用潜在想法的有序序列作为视频和生成文本之间的显式中间层。随着时间的推移，这些潜在的想法逐渐提取和组织意义。除此之外，我们使用先计划后地面解码的方法：模型首先决定它想说什么，然后回顾视频寻找证据。这种分离提高了一致性和 忠实性。我们还构建并发布了一个新的大规模无光泽 SLT 数据集，具有更强的上下文依赖性和更现实的含义。多个基准测试的实验表明，与现有的无光泽方法相比，获得了一致的收益。我们的代码和数据可在 https://github.com/fletcherjian/SignThought 获取。