反向手语词典：通过视频字幕和描述检索进行连续手语的开放词汇手语识别

孤立手语识别（ISLR）通常被视为注释标签的封闭集分类，它不能泛化到训练中未见过的符号，并将每个部署与注释注释的词典联系起来。相反，我们通过以下方式识别从连续手语中提取的符号：（1）使用开放权重视觉语言模型将符号级剪辑添加到自由形式的发音程序描述中，以及（2）使用多语言句子编码器从目标描述词汇中检索最接近的条目：不需要注释监督并允许开放词汇的反向手语词典。在日本手语 (JSL) 对话语料库的 1,300 个手语级片段上，用程序描述进行注释（相对于 503 个条目的目标词汇，前 10 名机会下限为 2%），字幕生成器 微调 显着改善了可见类检索：语言和视觉塔 微调 将可见类的前 10 名检索从 4.5%（未经训练）提高到49%，在三个测试集中的两个上，与标准监督闭集分类器（I3D）在统计上无法区分，而闭集分类器根本可以被评估。更重要的是，与未训练的管道相比，看不见的类检索也得到了显着改善（11.5% -> 21.0% top-10，p=0.0094），这是闭集分类器无法参与的机制。匹配器端的经验上限分析显示，句子编码器已经恢复了接近 100% 的释义标准描述，找到了我们希望在未来工作中解决的字幕质量差距。据我们所知，这是第一个基于描述的、开放词汇的符号查找，无需注释监督即可进行连续签名，也是 JSL 的第一个。