现代 BERT 模型的法律领域适应

我们研究现代 BERT 模型在法律领域的领域适应性。我们使用屏蔽语言建模目标进一步针对所有美国法院意见对 ModernBERT 进行预训练。尽管 ModernBERT 接受的数据比原始 BERT 多了大约 500 倍，但我们仍然发现该模型受益于进一步的 预训练 和法律领域的领域适应：与普通的 ModernBERT 相比，我们报告在与美国法院意见相关的所有数据集上都有显着改进。我们发现与 BERT 类模型领域适应的早期工作中报告的收益类似。然而，从头开始 预训练 与我们实验中现有 ModernBERT 检查点的进一步 预训练 的性能不匹配。生成的模型能够处理多达 8,192 个标记的序列，并且可用于计算法律段落的有意义的嵌入，或者可以针对给定的搜索查询快速重新排列数百个法律段落。我们公开发布所有模型检查点。