论文

韩国性犯罪案件中的法律文本分类:从传统机器学习到具有 XAI 见解的大语言模型

Legal text classification in Korean sexual offense cases: from traditional machine learning to large language models with XAI insights

模型训练监督微调与指令调优

摘要

自然语言处理(NLP)的进步扩大了法律领域基于人工智能的文本分类。然而,由于法律文本的复杂性和法律类别之间的细微差别,准确地对法律文件进行分类仍然具有挑战性。本研究使用十类韩国性犯罪先例来评估从传统机器学习技术到大语言模型 (LLM) 的法律文本分类模型。结果表明,在法律数据上微调 KLUE-BERT 等小规模模型的性能优于 GPT-3.5 和 GPT-4.0 等通用模型以及传统机器学习模型。 KLUE-BERT 达到了 99.3% 的最高准确率,这表明领域适应和微调对于法律文档分类来说比模型大小更重要。我们进一步采用可解释的人工智能(XAI)技术来分析模型预测和错误分类案例。 XAI 分析可识别影响模型决策的语言特征以及捕获微妙文本线索的限制。使用与现实世界法律案件记录非常相似的 KICS 数据,我们进一步评估了模型的泛化能力,发现它很难解释隐含的上下文线索。这些发现强调了法律人工智能中性能和可解释性的重要性,并展示了 XAI 如何提高法律文本分类的透明度。人工智能辅助工具可以支持法律专业人员完成文档分类、法律信息检索和案件评估等任务。