案例证据验证：构建证据敏感监管的框架

基于证据的推理需要的不仅仅是将检索到的文本附加到预测中：模型应该根据提供的证据是否支持目标主张来做出决策。在实践中，这常常失败，因为监督薄弱，证据与主张的联系松散，并且评估不直接测试证据依赖性。我们引入了基于案例的证据验证，这是一个通用框架，其中模型接收本地案例背景、外部证据和结构化主张，并且必须确定证据是否支持该案例的主张。我们的主要贡献是一个监督构建程序，它生成显式的支持示例以及语义控制的非支持示例，包括反事实的错误状态和与主题相关的否定，而无需手动证据注释。我们在放射学中实例化该框架，并针对所产生的支持任务训练标准验证者。学习验证器的性能大大优于仅案例基线和仅证据基线，在正确的证据下保持强大，并在证据被删除或交换时崩溃，表明真正的证据依赖。这种行为在未见的证据文章和外部案例分布之间转移，尽管在证据源转移的情况下性能会下降，并且对主干选择仍然敏感。总体而言，结果表明证据基础的主要瓶颈不仅是模型能力，而且缺乏对证据因果作用进行编码的监督。