论文

ViLegalExpert:越南法律检索和现实世界咨询问答的大型基准

ViLegalExpert: A Large-Scale Benchmark for Vietnamese Legal Retrieval and Question Answering from Real-World Consultations

模型评测基准与评测资源

摘要

值得信赖的法律人工智能需要能够回答法律问题的系统,同时将其回答建立在权威来源的基础上。然而,现有的越南法律基准对现实世界法律咨询的覆盖范围有限。我们引入 ViLegalExpert,这是一个由真实的公民律师咨询构建的大规模基准,包含跨 34 个法律领域 的超过 172K 个问题,以及专业答案和专家验证的法律证据。 ViLegalExpert 支持法律信息检索、提取式 QA 和抽象 QA。代表性检索方法和语言模型的实验揭示了证据检索和grounding答案生成方面的巨大挑战。虽然预训练模型在 QA 上表现强劲,但混合检索实现了最佳检索性能。这些结果表明,将自然表达的法律问题映射到权威条款是困难的,并将 ViLegalExpert 确立为可靠的越南法律人工智能的具有挑战性的基准。