论文
GRACE:对加拿大法律的有根据的对抗性推理
GRACE: Grounded Adversarial Reasoning over Canadian Law
摘要
大型语言模型在一系列法律任务中表现出了强大的性能,但现有的基准很少评估采取和捍卫法律立场的能力、在不完整信息下的推理或综合多个法定条款的能力。这种差距对于加拿大法律尤其明显,加拿大法律在法律 NLP 中的代表性仍然不足。我们引入了 GRACE(加拿大法律对抗性有根据的推理示例),这是一个基于加拿大联邦立法的 1,915 个问答实例的数据集。 GRACE 涵盖三种推理模式:对抗性辩护、不确定性和应用推理。我们开发了一个管道,可以对原始法定文本进行分区,生成基于场景的问题和推理,并通过无模型的引文验证和基于大语言模型的质量审核来过滤示例。作为概念证明,我们对 CLeAR-4B(加拿大法律对抗推理)进行了微调,这是一种用于扎根法律推理的轻量级模型,并在开卷和闭卷设置中对照未修改的 Qwen3-4B 基本模型对其进行评估。当提供相关法案文本时,CLeAR-4B 大大提高了与教师输出和法定引用行为的一致性,而当法规被扣留时,其基础性急剧下降。这些结果表明 GRACE 可以支持轻量级法律模型的开发,这些模型可以更有效地从提供的法定文本中进行推理。