CALRK-Bench：评估韩国法律中的情境感知法律推理

法律推理不仅需要应用法律规则，还需要理解这些规则运作的背景。然而，现有的法律基准主要在固定规范的假设下评估规则的适用，因此无法捕捉法律判断发生变化或多种规范相互作用的情况。在这项工作中，我们提出了 CALRK-Bench，这是一种基于韩国法律体系的上下文感知法律推理基准。 CALRK-Bench 评估模型是否能够识别法律规范的时间有效性，确定特定案件是否有足够的法律信息，并了解法律判决变化背后的原因。该数据集根据法律先例和法律咨询记录构建，并经过法律专家的验证。实验结果表明，即使是最近的 大语言模型 在这三项任务上也始终表现出较低的性能。 CALRK-Bench 提供了一种新的压力测试，用于评估上下文感知的法律推理，而不是简单的法律知识记忆。我们的代码可在 https://github.com/jhCOR/CALRKBench 获取。