当事实验证分数提高时会发生什么变化？训练有素的验证员和大语言模型的证据和答案会计

联合事实验证分数一起评估答案和提交的证据。当分数提高时，如果答案保持不变，还能剩下多少收益？在 FEVEROUS 上，严格分数是指在提交的证据中具有正确答案和完整注释证据组的主张的百分比。在四个训练有素的 DeBERTa 检查点和 7,890 个索赔中，用 UnifEE 证据替换 DCUF 证据将严格分数提高了 9.61 个百分点，而答案准确性提高了 1.96 个百分点。严格分数增益的配对 95% 区间为 [8.77, 10.43]，以这些检查点为条件。当我们保留从 DCUF 或 UnifEE 证据生成的答案时，仅替换传递给评分者的证据分别占 7.92 或 9.08 个百分点。为了研究证据增益如何取决于评估选择，我们在两种答案格式和两种背景预算下生成了来自两位 8B LLM 的关于 FEVER、FEVEROUS 和 SciFact 的 470,400 条回复。将上下文从 256 个标记增加到 2,048 个标记使 Qwen 和 Llama 的 FEVEROUS 固定答案证据增益分别提高了 3.84 个和 3.10 个百分点。效应未达到预先指定的跨数据集标准，而某些区间超出了两点小效应界限。事后分析可量化答案和提交证据的变化，并显示总体准确性和证据覆盖率何时未达到索赔水平模式。四个答案-证据分数组合揭示了端点和聚合指标未解决的变化。