论文

波兰成文法带注释的替代检索

Annotated Surrogate Retrieval for Polish Statutory Law

上下文与知识检索增强

摘要

我们提出了一系列基于文档代理的波兰成文法检索方法:在索引时附加到成文法文章的语言模型注释。三种设计在成本质量前沿占据不同的位置。 ASCR 是具有重新排序功能的代理级联; ASCR-H 将一个密集列表融合到该级联中; DTF 将两个语言模型阶段替换为三个词汇和密集 检索器、加权倒数排名融合和确定性重新评分先验,在生成之前不使用模型调用。我们根据 14 个词汇、密集、融合和消融基线以及 4 个对照,针对 2024 年和 2025 年波兰律师和法律顾问入学考试的 300 个问题(语料库中有 264 个问题及其参考文章)、来自 1,133 项法案的 82,508 篇文章,对所有这三项进行了评估。在配对 McNemar 测试中,ASCR-H 将参考条款置于第一名的频率显着高于其他所有非预言机配置,除了其自身的消融之一(二十个比较中的十八个在 p < 0.005 上对其有利),达到 72.3%,而 BM25 为 61.7%,密集检索为 52.3%。优势集中在头部,并且在深度上不存在:在截止值为 1 和 5 时优势显着,在截止值为 10 时消失,在点估计上领先 20 个 DTF(86.0% 与 84.5%),延迟时间为九分之一,成本不到一半。 Ablation 仅将 27.6 分的排名一准确率归因于重新排名阶段。我们进一步报告说,排名优势并未扩展到引文准确性,其中 DTF 与预言机上限相匹配,并且在词形还原、伪相关反馈和查询重写方面存在三个负面结果。代理注释覆盖了语料库的 27.0%,但基准中的每个参考条款都是我们披露和讨论的不对称性。基准、每个问题的输出和配对显着性测试都是公开的。