TriBench-Ko：评估司法工作流程中的 LLM 风险

大语言模型 (LLM) 越来越多地集成到法律工作流程中。然而，现有基准主要解决代理任务，例如律师考试表现或分类，无法捕捉日常司法程序中固有的表现和风险。为了解决这个问题，我们公开发布了 TriBench-Ko，这是一个韩国基准，旨在在经过验证的司法任务要求的背景下评估 LLM 的潜在部署风险。它涵盖四个核心任务：法理总结、判例检索、法律问题提取和证据分析。它联合评估多个部署风险类别的模型行为，包括不准确（幻觉、遗漏、法定误用）、偏差（人口统计、过度合规）、不一致（及时敏感性、非确定性）和裁决过度。每个项目的结构都是根据真实的司法判决系统地评估任务绩效和特定风险类型。我们对一系列当代 LLM 的评估表明，许多模型经常表现出重大风险，最明显的是难以检索先例并未能捕获关键的法律信息。我们对这些 LLM 进行全面诊断，并查明 LLM 在司法环境中生成的输出需要严格检查和谨慎的关键领域。我们的数据集和代码可在 https://github.com/holi-lab/TriBench-Ko 获取