PoliLegalLM：政法大语言模型技术报告

大语言模型（LLM）在一般领域任务中取得了显着的成功，但由于幻觉的法律引用、不完整的知识覆盖和薄弱的结构化推理，它们在法律领域的直接应用仍然具有挑战性。为了解决这些问题，我们提出了 PoliLegalLM，这是一个专为政治和法律应用量身定制的特定领域 大语言模型。我们的方法采用统一的训练框架，集成持续预训练、渐进式监督 微调 和基于偏好的强化学习，共同增强法律知识基础、任务对齐和推理能力。我们构建了大规模、高质量的法律语料库，并设计了结构化的 后训练 管道，使模型能够有效学习特定领域的知识并适应多样化的法律任务。我们在三个代表性基准上评估 PoliLegalLM，包括 LawBench、LexEval 和现实世界数据集 PoliLegal。实验结果表明，PoliLegalLM 实现了强大且一致的性能，超越了类似规模的竞争模型，并与更大的模型保持了高度竞争力，同时在现实世界的法律场景中取得了最佳结果。这些结果凸显了我们的训练范例的有效性以及特定领域 LLM 对于现实世界法律应用的实用价值。