论文

GreekBarRetrieval:希腊法定检索的基准

GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval

模型评测基准与评测资源

摘要

法定检索对于基于引文的法律问答是必要的,但对于希腊语仍然没有得到充分探索。我们引入了 GreekBarRetrieval,这是一个公共检索基准,源自并补充 GreekBarBench,其中不包括检索。新基准包括 283 道律师考试题目,每道题目都附有所涉及案件的事实,以及 6,308 篇可供检索的候选法定文章。问题和事实以日常语言表述,但需要映射到法规的正式术语及其抽象法律概念。更复杂的是,并非所有案件事实都与案件的每个问题相关。通过使用三个 BM25 变体和九个密集 检索器 进行实验,我们发现在 Recall@100 中普通密集检索远远优于普通稀疏检索。然而,基于 LLM 的查询重构帮助 BM25 缩小了这一差距,同时还改进了密集检索。通过我们引入的十轮类似 ReAct 的 LLM 重构循环,BM25 在 Recall@100 中进一步提高,并获得所有测试的 检索器 的最佳 nDCG 和 MAP 分数。查询重构也优于伪相关反馈、稀疏-密集融合和英语翻译。