SignRAG：统一检索增强无光泽手语翻译

当代仅解码器的大语言模型（LLM）已经在广泛的领域展示了强大的功能。然而，现有的无光泽手语翻译 (SLT) 预训练范例主要是围绕传统的编码器-解码器预训练语言模型设计的，这限制了它们对仅解码器的LLM的直接适用性。为了解决这个限制，我们提出了 SignRAG，这是一个结合了分层预训练、目标域检索增强和检索感知强化微调的统一框架。分层预训练首先学习基于语言的符号表示，然后将符号编码器与LLM联合对齐，从而减轻跨模式优化不平衡。对于下游适应，SignRAG 通过提供特定于实例的翻译线索的目标域检索图库来补充基于参数的微调。为了确保正确使用检索到的上下文，我们进一步引入检索实用程序引导强化微调（RUG-RFT），它将翻译质量和检索实用性结合起来 奖励以鼓励有益的检索使用，同时抑制有害的依赖。对多个 SLT 基准测试的实验建立了新的最先进的性能。特别是，据我们所知，SignRAG 是第一个在 CSL-Daily 报告的所有指标中优于光泽监督方法的无光泽方法。我们的代码已与不同大小的模型一起在 \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}, 发布，以支持未来的学术研究。