法律判决预测中的捷径学习：来自英国就业法庭的经验证据

当前的法律判决预测（LJP）因其对事后司法材料的依赖而受到限制，这增加了模型执行回顾性分类而不是真实预测的可能性。本文通过研究英国就业法庭 (UKET) 判决中的索赔级别结果预测，实证研究了这种背景下的捷径学习。使用包含 33,158 个个人权利要求的语料库，我们根据权利要求文本和 LLM 提取的案例摘要来预测结果，评估从可解释的基于 TF-IDF 的分类器到黑盒 LLM 的模型。虽然总体预测性能数据看起来很强劲，但我们证明，在事后司法文本上训练的 LJP 系统中的这种性能可以由源材料的回顾性驱动。通过人类对泄漏的判断对测试数据进行分层表明，当叙述中嵌入了揭示结果的线索时，表现就会提高。此外，仅对 4% 被识别为泄漏的特征进行训练的模型就实现了高性能，超越了人类专家。这些发现证实了人们的担忧，即 LJP 的表现可能会被语言假象夸大。然而，这种脆弱性对于研究议程来说并不是致命的。相反，事后判断可能被视为可能受到污染的文本，需要积极审计。掩蔽泄漏特征后重新训练模型只会导致 Macro-F1 的减少可以忽略不计。因此，虽然模型会机会性地利用可用的捷径，但当这些伪影被移除时，它们仍然能够提取有用的预测信号。