超越判例法：评估以法规为中心的法律质量保证中的结构感知检索和安全性

法律质量保证基准主要关注判例法，忽视了以法规为中心的监管推理的独特挑战。在法定领域，相关证据分布在分层链接的文档中，从而造成法定检索间隙，传统的 检索器 会失败，并且模型经常在不完整的上下文下产生幻觉。我们推出 SearchFireSafety，这是一个结构和安全意识基准，用于以法规为中心的法律 QA。该基准以消防安全法规为代表案例，评估模型是否可以检索分层碎片化的证据并在法定背景不足时安全地弃权。 SearchFireSafety 采用双源评估框架，结合了需要引文感知检索的现实问题和对幻觉和拒绝行为进行压力测试的合成部分上下文场景。跨多个 大语言模型 的实验表明，图引导检索极大地提高了性能，但也揭示了一个关键的安全权衡：当关键法定证据丢失时，领域适应模型更有可能产生幻觉。我们的研究结果强调了在以法规为中心的监管环境中联合评估分层检索和模型安全性的基准的必要性。