论文
法律判决预测中的时间概念漂移:乌克兰法院判决三个时期的神经基线
Temporal Concept Drift in Legal Judgment Prediction: Neural Baselines Across Three Epochs of Ukrainian Court Decisions
摘要
法律 NLP 基准评估随机分割数据的模型,隐含地假设法律语言是固定的。我们通过 微调 四个 Transformer 编码器——XLM-RoBERTa(基础和大型)及其法律域变体——对由地缘政治混乱定义的三个时间时期的乌克兰法院判决来测试这一假设:战前(2008-2013)、混合战争(2014-2021)和全面入侵(2022-2026)。每个模型都在一个 epoch 上进行训练,并在所有三个 epoch 上进行评估,生成 3x3 跨时间泛化矩阵。出现了四项发现。 (1) 前向退化严重:根据战前数据训练的模型在应用于全面入侵时代决策时,宏观 F1 损失高达 27.2 个百分点。 (2) 退化是不对称的:后向转移(全面到战前)比前向转移要稳健得多,这与法律语言是可加性的假设一致。 (3) 合法域预训练(Legal-XLM-R)不会提高绝对性能,但会降低前向退化幅度和不对称性。 (4) 按时间顺序的持续学习消除了一般 XLM-R 的灾难性遗忘:战前知识被完全保留(+1.8 至 +6.2 pp),而全面性能增益 +16.5 至 +19.0 pp;逆时间顺序训练会导致严重遗忘。对瑞士判决预测数据进行跨辖区预训练可以提高绝对性能,但不会降低时间退化幅度,这证实了时间漂移是法律语言演化的固有属性。该数据集(三个时期的 428K 决策)作为 LEXTREME 贡献公开提供。