蒸馏定向验证

知识蒸馏旨在将大语言模型的事实知识转移到较小的模型以进行高效部署。然而，教师可能会回忆起一个方向的关系，而无法产生相反方向的答案。因此，从生成的答案中进行蒸馏可以将这种方向性限制传播给学生。然而，同一个老师可以通过按照它知道的方向对关系进行评分来识别这样的答案。我们引入了定向标签蒸馏，其中冻结的教师在已知方向上对候选答案进行评分，并且得分最高的候选者成为学生的训练目标。关于父母及其孩子的事实，即使在对姓名先验进行调整更正之后，已知方向评分也会比对请求的方向进行评分产生更准确的标签。对于预先校正的分数，更好的方向取决于事实而不是模板，并根据其显着实体是父项而不是子项的挖掘事实进行逆转。在保留评估儿童的正向事实的情况下，接受已知方向标签训练的学生在训练查询中的开放式准确性比接受先前校正反向标签训练的学生提高了 13 到 15 分。在生成的答案通过词汇相似性与固定的姓名列表匹配后，学生可以重现几乎所有选定的标签。它们的准确性很大程度上取决于标签质量。标签优势适用于未经筛选的查询以及在未插入正确答案的情况下检索候选者的情况。我们的研究结果表明，定向验证通过提供更准确的训练目标，减少了教师生成的答案向学生传递的错误。代码可在 https://github.com/js-lee-AI/directional-verification. 获取