论文
哪些变化才重要?通过相关性敏感评估与求解器支撑的推理迈向可信法律AI
Which Changes Matter? Towards Trustworthy Legal AI via Relevance-Sensitive Evaluation and Solver-Grounded Reasoning
摘要
法律推理要求区分重要变化与不重要变化。法律AI在法律上无关的扰动下应保持稳定,而当扰动改变了法律上的实质要点时则应改变。我们将这一要求形式化为法律相关性敏感评估问题:LLM应当只对法律相关的变化敏感。我们提出一个统一评估套件,覆盖司法公平、稳健性与法条混淆场景下的应变化与不应变化评估。评估显示,现有法律LLM对法律无关的变体系统性地敏感,并且常常无法区分相关法律要件与法条规则。为缓解这些失效,我们提出LexGuard,一个以形式化推理为根基的对抗式多智能体框架。LexGuard将法条形式化为可执行约束,利用对抗智能体抽取相互竞争的事实-法条论证,并调用SMT求解器验证法律满足性与逻辑一致性。实验表明,LexGuard通过降低对操纵性表述的易感性、改善相似法条间的消歧、限制法律无关属性的影响以及提升良性改写下的一致性,提高了法律推理的可靠性。我们表明,法律可信度不仅需要准确性,还需要对法律实质变化的校准敏感性。
