教学语言模型通过人类考试策略来检查有根据的主张的真实性

有根据的声明事实性检查对于 大语言模型 (LLM) 应用程序（例如检索增强生成）非常重要，因为它可以帮助用户评估生成输出的正确性。使用蕴涵分类器的现有指标需要特定于数据集的阈值调整，而基于 LLM 的方法通常使用直接提示，这没有充分利用 LLM 的推理能力。我们通过将有根据的主张事实性检查制定为正确/错误的阅读理解任务来解决这个问题，并通过明确的考试策略来提示 LLM 以进行有效的推理。与无指导的开放式推理相比，我们的方法减少了 80% 以上的词元使用量，并且在两个事实基准上实现了与更昂贵的替代方案相比的竞争性能，从而在一个基准上树立了新的技术水平。为了进一步降低推理成本，我们训练小语言模型（SLM）来替换检查管道中的 LLM。使用监督的 微调 (SFT) 和自我修正机制，SLM 学习改进其事实性判断。实验结果表明，生成的 SLM 的性能与强大的基线相当，将低推理成本与生成支持可解释性的支持理由相结合。代码和数据集将在接受后发布。