GRACE：根据上下文进行忠实推理的步骤级基准

许多推理任务需要模型对输入上下文进行推理，从基于文档的问答到基于规则的演绎。思想链 (CoT) 提示会产生看似透明的痕迹，但即使最终答案是正确的，个别步骤也可能悄悄偏离源证据。现有方法检测响应级别的幻觉，但无法识别故障链中的哪个位置发生故障或故障类型是什么。我们引入了 GRACE，这是第一个人工注释的步骤级 忠实性 基准，具有数据驱动的错误分类法，用于基于上下文的文本推理。 GRACE 涵盖 4 个源数据集的 10 个模型的 CoT 跟踪，每个步骤都注释有 忠实性、错误类别和自然语言解释。通过无监督聚类自下而上发现的数据驱动分类法将故障分为两个轨道：GRACE-Inference（演绎错误）和 GRACE-Grounding（事实依据错误），每个轨道有四个类别。评估集是人工注释的，并且在设计上具有挑战性。我们的实验揭示了当前模型的巨大空间。此外，将步进级 忠实性 信号集成到强化学习管道中可以提高下游准确性和推理可靠性。