从法律文本到可执行决策模型：评估法律决策模型生成的结构化表示

将法律文本转换为可执行的决策逻辑是法律信息学中长期存在的挑战。随着 LLM 的兴起，这项任务重新引起了人们的兴趣，但由于需要大量的手动编码和评估，仍然具有挑战性。我们使用独特的现实世界数据集，将生产级决策模型与荷兰环境和规划法案的法律文本配对。这些模型为 Omgevingsloket 政府平台提供支持，公民可以在该平台上检查环境活动的许可要求。我们研究中间结构化表示是否可以改进基于 LLM 的法律文本可执行决策模型的生成。我们比较了四种输入条件：原始法律文本、用语义角色标签丰富的文本、用输入和输出约束丰富的文本以及用两者丰富的文本。我们沿着两个维度进行评估：结构评估，通过与具有图内核和图的描述性统计的参考决策模型的相似性，以及结果评估，通过在预先配置的测试场景上执行模型的功能等效性。我们的研究结果表明，I/O 约束提供了显着的改进（与基线相比相似度增加了 37-54%），而语义角色标签显示出适度的改进。结果评估显示，生成的模型在 51-53% 的测试场景中符合参考标准，尽管生成的模型通常更小、更简单。我们发现 LLM 消除了包含多达 45-55% 节点的冗余直通逻辑。重要的是，结构相似性和结果等效性是互补的：结构相似性并不能保证结果等效性，反之亦然。为了促进可重复性，我们公开发布了 95 个生产决策模型的数据集以及相关的法律文本和所有实验代码。