VERITYGATE：四门模式级忠诚度框架和基于结构化证据的大语言模型叙述的配对基准

流利的大语言模型解释可能不遵循结构化系统的证据。我们推出了 VERITYGATE，这是一个用于声明证据 ID、实体、数字和声明类型的四门检查器。它检查固定模式；它并没有验证散文中的每一个事实。在 r=0 和 r=1 时，我们使用 GPT-4o-mini、Llama-3.3-70B 和 Claude Sonnet 4.6 测试每个设置 900 个实例（450 个grounding-未grounding对）。在此模式级合同下以及修复之前，80.3% 的小型索赔和 47.9% 的 Sonnet 索赔失败。这些是验证者拒绝率，而不是散文幻觉率。一次维修通过后，mini 的索赔存活率从 19.7% 提高到 28.0%，Sonnet 的索赔存活率从 52.1% 提高到 54.3%。每个示例的验证声明对于 mini 变化为 +0.14，对于 Llama 变化为 -0.71，对于 Sonnet 变化为 -0.47，因此生存率和产出量必须一起报告。第二遍十四行诗没有带来明显的收获。 r=1 时，Gate 4 涵盖了 mini、Llama 和 Sonnet 失败索赔的 97.0%、98.7% 和 100%。小型人类研究支持这些规则，但显示模式检查和正确的散文之间存在差距。特定领域的 GPT-4o 判断测试显示了顺序效应，因此它只是一个有用性检查。我们发布代码和数据。