论文

作为结构的时间:法律文件可验证期限计算的时间依赖图

Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents

模型推理推理策略与问题分解

摘要

错过一天的提交截止日期,无论案件多么有力,索赔都会被禁止。计算最后期限绝非简单:该期限从触发事件开始计算,按法定惯例计算,并可能通过强制调解窗口暂停。我们询问语言模型是否应该直接回答此类问题,或者阅读文档并将算术留给代码。我们将过时的事实及其依赖关系提取到时间依赖图中,并使用日历正确引擎从中计算截止日期。在英国就业上诉法庭的判决中,引擎会重现七项及时性裁决中的六项,并将法官自己的日期与当天相匹配。四种语言模型中最强的一个,在相同的情况下,算术是正确的,但答案是错误的:在 21 个回答中,有 6 个给出的结论与其自己的想法相矛盾,并且每个矛盾都以相同的方式运行,要求及时提出迟到的主张。为了大规模测试系统,我们将解雇日期移至法定边界之外,生成了 427 个案例,其答案是经过计算而不是注释的。在两个系统都回答的情况下,管道的正确率为 90.2%,而直接回答的正确率为 61.2%。限制在于提取:在合同中,错误几乎从来不在算术中,而是在选择期间开始的事件中。