论文

SignTrace:用自然语言动作描述反查中国手语

SignTrace: Describe a Sign, Find the Word

上下文与知识检索增强

摘要

学习者记得手语动作、却不知道含义或正式特征编码时,识别陌生手语很困难。SignTrace 通过自然语言访问中国手语词典,解决长期存在的反向查词问题。系统在 6,699 个词条上集成基于 LLM 的词典扩充、动作提取、词典式改写、七通道检索及候选重排,已部署进行用户试用,并获得积极的非正式反馈。在由词典衍生的 500 条动作描述查询基准上,Hit@1 为 94.0%,Hit@9 为 97.4%,平均倒数排名为 0.9540。重排将 Hit@1 从 71.8% 提升至 94.0%,组件分析也显示扩充词条描述的贡献。六个并发查询下,中位处理时间为 13.37 秒。通过把日常动作描述与记录在册的手语及含义连接起来,SignTrace 为识别陌生手语提供实用工具。但测试措辞来自词典且经过预选,限制了对用户独立描述的泛化结论。