合法的 RAG 系统还有多少幻觉？

幻觉是法律领域检索增强生成（RAG）系统的一个重大挑战，没有根据的答案可能会导致严重后果。为了更好地理解这个问题，我们对跨两个法律语料库、GDPR（英文）和国家民法（法文）的八个法律 RAG 系统中的幻觉行为进行了细粒度分析。通过声明级别和答案级别评估，我们报告幻觉密度和严重程度，分析问题类别和用户角色的表现，并在一组独立的 142 个法律专家撰写的问题上验证我们的发现。我们的结果表明，幻觉仍然普遍存在，从表现最好的系统中不到 10% 的反应到最坏情况下的近一半。我们进一步发现，包含必须拒绝的错误假设的错误前提问题会在手动起草的问题上产生很高的幻觉率。