JusticeAxis：严格规则适用与无根据自由裁量权之间的法律判断基准

摘要

合理的判断将法律应用于既定事实并权衡事实发生的情况。然而，现有的方法在严格的法规匹配和无根据的自由裁量权之间摇摆，基准对标签或标题进行评分，而提供平衡的经验仍未得到验证。我们将法律判断形式化为一项以参考为基础的任务，其目标是做出与法规和情况同时相关的单一决定。我们介绍JusticeAxis，来自18个国家的256个现实世界的刑事案件，有音频、图像和文字证据，每个案件都有三份律师书面判决书：记录一份，失败一份。我们进一步提出了JusticeAgent，这是一种工具，其元素Agent确定事实，其评审Agent根据情况经验的技能应用法律。技能是从执行轨迹中提炼出来的，并且只有在贝叶斯可信范围内才被承认。实验表明，失败会随着规模的变化而改变方向：开放重量的骨干网会漂移到无支撑的地面，前沿模型会漂移到法定默认值。我们进一步验证JusticeAgent作为一个简单而有效的插件，将冻结的开放权重骨干网带到了商业级别。项目资源可在https://github.com/beita6969/JusticeAxis.获取