VetScore：兽医长格式质量保证的风险加权事实验证（带引文）

引文摘录可用于提高生成的输出及其 忠实性 到引用来源的可靠性，这在人类医学和兽医学等高风险领域尤其重要。然而，这并不能保证生成的声明忠实于所提供的摘录。我们提出了 VetScore，这是一种用于兽医长篇问答的多步骤评估方法，旨在评估所提供的摘录支持的生成声明的效果，并根据每个声明的潜在危害权衡此信息。 VetScore 首先对输出进行分段并将其分解为单独的声明，然后根据其潜在危害对每个声明进行评分，并评估其 忠实性 以获取摘录，最后计算总体风险调整分数。我们收集了专家注释的元评估数据集，使用一系列判断模型评估我们的方法，并表明即使使用小型判断模型，它也能与兽医专家实现高度相关，同时提供多个维度的可解释性。