论文

训练、检索还是两者兼而有之?四臂针锋相对,争取安大略省住宅租赁法的正确法定引证

Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

应用与实践行业应用

摘要

自我代表的租户、房东和服务台工作人员需要了解实际管辖问题的法律条款,并提供正确的法定引用。我们根据 2006 年安大略省住宅租赁法案 (RTA) 及其核心法规来研究这项任务,以实证的方式询问操作者的问题:微调 是否足够,或者是否需要混合检索?我们在 Qwen2.5-7B-Instruct(基础零样本、仅 LoRA SFT、仅 RAG 和 SFT+RAG 混合)上运行四臂头对头,在一个小型、待人工验证的真实评估集上对引文精确匹配(部分+小节)进行评分。基本模型不能引用 RTA 和仅 SFT 的错误召回部分;检索是必不可少的,并通过构建将幻觉驱至零; SFT+RAG 混合得分最高,精确匹配率为 0.481,幻觉引用为零。它的优势来自于 SFT,使供应选择对于损害零样本 RAG 的更高召回率候选集更加稳健。值得注意的是,这种廉价的 bge-small 混合匹配或击败了建立在更大、专门的检索模型(更大的嵌入器和交叉编码器重新排序器)上的管道,并且更大/改进的训练集也无济于事:这里强大的法定引文性能不需要专门的检索模型或更多数据。该工件将幻觉归零并清除了基础提升栏,但未达到理想的 0.70 精确匹配目标。所有结果均基于小型、有待人工验证的真实评估集,并报告为初步结果。