论文

InvestigationWorlds:法律调查的 Agentic 环境

InvestigationWorlds: An Agentic Environment for Legal Investigation

智能体系统Agent任务评测长程任务评测

摘要

我们引入 InvestigationWorlds,这是一个用于法律调查的 Agentic 环境。我们以美国民事诉讼中未被充分利用的产物为基础:即决判决动议。该动议依赖于由真实证据组成的记录,并得出法院采用的假设,该假设被视为决定该动议的基本事实。每个环境都是根据从公共访问法庭电子记录 (PACER) 检索的真实美国联邦法院案件构建的,并通过经过律师验证的生成管道进行增强,该生成管道围绕原始记录合成角色标记的文档。由此产生的语料库承认多个连贯的事实读数,其中只有一个符合法院采用的假设。通过对 100 个案例进行评估,我们发现,尽管检索了相关证据,智能体仍经常做出错误的假设,难以区分法院采用的假设和替代假设。

InvestigationWorlds:法律调查的 Agentic 环境的原论文方法或结果图
图 1:InvestigationWorlds 管道。带有简易判决动议的真实联邦案件是从 PACER 中过滤出来的。事实陈述、证据和法院意见由 LLM 管道处理,该管道提取实体、基本事实和两方假设($h_{p}$、$h_{d}$),并将它们组装成文档图和假设有向无环图(DAG)。然后,规划者兼法官智能体使用按证据角色标记的合成证据来增强文档图(参见表 1)。