该证据对决策至关重要吗？学习验证规则控制的决策

基于规则的推理，如在资格检查和合同审查中，需要语言模型根据个人条件评估证据，并在明确的规则下结合他们的判断。证据评估中的错误可能会使决定保持不变，但误解或忽视对决策至关重要的证据可能会扭转决定。识别这些证据可以让更有能力的模型专注于检查相应的条件判断，支持准确、安全的决策。认识到证据的重要性需要了解证据如何影响条件判断以及该判断如何影响决策。为了实现这一目标，我们提出了一个基于干预的 imPACT 学习框架 (InterPact)，该框架能够对规则治理决策中的证据关键性进行反事实验证。具体来说，其证据干预构造器通过使用冻结的语言模型编辑案例事实，同时保持规则和非目标条件固定，来为传播验证器生成训练对。人工审查的标签记录了结果条件和决策变化，而完整的状态到决策映射则监督超出观察到的编辑的后果。在训练过程中，验证者通过固定的组合操作，通过基于证据的条件概率对学习的条件决策预测进行加权，将决策变化监督传播到基础模型中。在推理时，经过训练的基础模型直接根据原始案例和目标证据判断关键性，无需人工或更强的模型监督。在对经过调整的规则管理决策案例进行单案例证据关键性验证时，InterPact 的准确率达到 68.28%，优于所有六个基线。这些结果支持习得的决策敏感性作为优先证据检查的基础。