论文
LegalDrill:小语言模型中法律推理的诊断驱动综合
LegalDrill: Diagnosis-Driven Synthesis for Legal Reasoning in Small Language Models
摘要
小语言模型(SLM)由于其效率和低运营成本而有望在现实世界中部署。然而,他们有限的能力难以完成高风险的法律推理任务,这些任务需要连贯的法规解释和逻辑一致的推论。此外,为此类任务训练 SLM 需要高质量、简洁的推理轨迹,手动收集这些轨迹的成本极高,并且难以通过标准拒绝抽样进行管理,缺乏最终结论之外的粒度。为了应对这些挑战,我们提出了{LegalDrill},一种诊断驱动的综合框架,通过细粒度的提示从有能力的教师那里提取并迭代地细化推理轨迹,然后采用自我反思验证来自适应地为SLM学生选择最有效的数据。生成的数据通过监督 微调 和直接偏好优化来支持 SLM 训练。对多个法律基准的广泛实验表明,{LegalDrill} 显着增强了代表性 SLM 的法律推理能力,同时绕过了对稀缺专家注释的需求,为实用法律推理系统铺平了一条可扩展的道路。