JUÁ——巴西法律文本集合信息检索的基准

葡萄牙语的法律信息检索仍然难以系统地评估，因为可用的数据集在文档类型、查询风格和相关性定义方面差异很大。我们推出了 JUÁ，这是巴西法律检索的公共基准，旨在支持跨异构法律馆藏的更具可重复性和可比性的评估。更广泛地说，JUÁ 不仅旨在作为基准，而且作为巴西法律 IR 的持续评估基础设施，结合了共享协议、通用排名指标、固定分割（如果适用）和公共排行榜。该基准涵盖法学检索以及更广泛的立法、监管和问题驱动的法律搜索。我们评估词汇、密集和基于 BM25 的重排序管道，包括在 JUÁ 对齐监督上进行微调的领域适应 Qwen 嵌入模型。结果表明，该基准具有足够的异质性，可以区分检索范式并揭示大量的跨数据集权衡。领域适应在与监督一致的 JUÁ-Juris 子集上产生了最明显的收益，而 BM25 在其他集合上仍然具有高度竞争力，特别是在具有强烈词汇和机构措辞线索的环境中。总体而言，JUÁ 提供了一个实用的评估框架，用于在通用基准设计下研究跨多个巴西法律领域的法律检索。