具有扎根、忠实、一致、可操作原理的负责任的人工智能：与 VERDICT 进行临床试验匹配的案例研究

问责意味着可以对决定进行审查、论证和质疑。 LLM 使这变得困难：流畅的输出可能没有根据、不完整或不忠实于决策过程。实现问责制需要经过验证的理由（如何做出决策）、假设（假设而不是已知的内容）、政策一致性（对相同事实采取相同处理）和关键条件（什么会改变结果）。我们引入自我 忠实性 作为责任的自动测试：改变关键条件应该改变决策。我们通过临床试验匹配来检查负责任的人工智能，这是循证医学的核心高风险任务。尽管基于 LLM 的匹配器相当准确地将患者与试验相匹配，但它们应用的决策策略不一致，并产生不忠实于自己决策的基本原理。我们引入了 VERDICT，它是一个基于 LLM 的代理，它将决策任务、其约束及其策略转换为可满足性模理论 (SMT)，然后使用 SMT 和 MaxSMT 求解器导出决策 - 因此策略得到一致应用，并且决策通过构造负责。在 SIGIR 2016 派生数据集和 TREC 2021 中，VERDICT 在仅 LLM 和神经符号基线中实现了最强的决策准确性，应用具有完美一致性的策略，并产生基于明确假设和关键条件的临床医生首选的基本原理，并改进了反事实自我 忠实性。