BackTranslation2.0——评估手语产生的语言动机指标

手语 (SL) 是数百万聋人的主要交流方式，但现有的生成 SL 的评估指标仍然过于简单，并且与人类的判断不太一致。我们引入了 BackTranslation2.0，这是一种基于语言的文本到符号翻译评估指标，超越了简单的反向翻译。我们的方法采用了一个代理框架，其中确定性管道编排了一套专门的工具来评估四个评分维度——语法正确性、语音准确性、动作流畅性和生成保真度——与人类评分者的评估保持一致。工具输出不是独立处理的：一组基于 大语言模型 (LLM) 的交叉引用比较模块评估工具之间的一致性，并根据语言期望检查输出，从而实现对语法、语音和动作级别证据的结构化推理。最终维度分数是通过经过验证的工具输出的确定性加权公式计算得出的。为了验证 BackTranslation2.0，我们引入并评估了英国手语 (BSL) 数据集，该数据集在人类评估者研究中在相同的质量维度上进行评级，遵循语言学家和聋人专家合作开发的协议，以六个基线指标为基准。我们的方法在各个维度上都表现出与人类判断的强相关性，为手语产生系统提供了更全面、可解释和语言学原则的评估框架。