LLM 是否捏造法律引文？沙特数据保护法和 GDPR 的双语基准

组织和监管机构越来越多地咨询 大语言模型 (LLM) 来解决监管合规问题，但错误的法定引文可能会悄悄传播到法律建议、合规文档和政策决策中。我们引入了包含 120 个问题的双语基准，探讨可免费访问的 LLM 是否伪造了两种数据保护文书的文章引用：欧盟通用数据保护条例 (GDPR) 和沙特个人数据保护法 (PDPL)。该基准将直接引文检索问题与虚假前提验证调查和故意无法回答的“陷阱”问题结合在一起，包括有关被废除文章的问题以及仅存在于实施法规中而不是法律本身中的截止日期的问题。每个问题都以阿拉伯语和英语提出，所有评分都是根据手动验证的标准参考全自动进行的。评估三个可免费访问的模型（Gemini 2.5 Flash、GPT-OSS-120B、Nemotron-3-Super-120B），我们发现了巨大的管辖差距：GDPR 上的引用准确性接近上限（直接检索为 94-100%），而沙特 PDPL 上的大多数捏造（60-77%），查询语言不变；最高的造假率 (67%) 源于法规与法规的混淆，并且 91% 的造假引文的置信度 >= 0.8。 Fabrication 跟踪的是法律管辖权，而不是查询的语言，并且模型置信度不提供任何保护——这表明逐字验证保障措施（而不是模型置信度）必须阻止机构对 LLM 进行合规性筛选的依赖。