论文

RECITE:从临床试验修订文件提取证据以放宽入组标准

RECITE: Revising Eligibility Criteria Incorporating Textual Evidence

应用与实践上下文与知识模型评测检索增强基准与评测资源行业应用

摘要

过于严格的入组标准导致临床试验中广泛的入组失败,但已发表的关于如何扩大具体标准的建议仍然与大规模试验设计脱节。我们引入了 RECITE(结合文本证据修订入组标准),这是一个用于自动发现、提取和实施基于证据的入组标准修订的框架。 RECITE 使用来自 ClinicalTrials.gov 的方案修订文件构建了涵盖 5,735 项试验的 11,913 个精选实例的数据集,每个实例都将原始标准与书面证据和目标修订配对。我们在截断到上下文窗口和检索增强生成条件下对 15 个 LLM 配置进行基准测试,在 LLM-as-a-judge协议下的 3,116 个实例样本上,针对 10 名领域专家进行了验证(评判器与人类的二次加权 Cohen 的 $κ_{qw} = 0.694 \pm 0.096$)。最佳开放权重模型 Gemma 2 9B 在 0--4 范围内达到 $κ_{qw}$ 对齐序数分数 $3.0 \pm 0.9$(归一化 0.742),最佳封闭权重模型 GPT-4o 达到 $3.0 \pm 0.8$(归一化 0.745)。然后,我们使用 Agentic 文献发现系统,在五份出版物中确定了 44组论文—试验匹配,提供了试验设计和 EC 修改证据。我们的研究结果表明,现有的临床知识可以转化为可操作的试验设计建议。

2610.41368v1:论文原图
图 1:RECITE 框架概述。四个阶段:根据 ClinicalTrials.gov 协议构建基准(§5)、通过 LLM-as-judge 进行模型评估、从已发表文献中发现证据(§4.2)以及估计对试验入组的影响(§6)。