LLM辅助临床手稿准备的确定性完整性门:可审计的生物医学信息学架构
Deterministic Integrity Gates for LLM-Assisted Clinical Manuscript Preparation: An Auditable Biomedical Informatics Architecture
摘要
随着自主研究代理和人工智能联合科学家系统将大型语言模型(LLM)从起草转向端到端手稿制作,瓶颈从生成转移到验证。流畅的大语言模型输出可以隐藏伪造的引文、偏离源表的数字以及未满足的报告指南项目;现有工具在未经验证的情况下生成,自我批评继承了产生自信制造的盲点。我们描述了一种将生成与验证相结合的架构,它基于三个原则:将工作流程分解为独立的技能,通过故障停止来控制每个阶段的转换,并使用最便宜的充分机制解决每个完整性问题,一种确定性的、可重复执行的检查(只要有一个就足够了),以及仅在解释不可避免的情况下进行散文级探测。这种以完整性门分类法组织起来的决定论(在可能的情况下)的分裂是核心贡献。它以 MedSci Skills 的形式实现,这是一个包含 43 项技能的开源工具包,具有 21 个检测器确定性层,在三个公共数据集管道(STARD、PRISMA、STROBE)和种子缺陷消融上进行评估。三个管道中的每个内容哈希清单均已验证干净,并且闸门暴露了真正的缺陷;在 27 个相同的注入缺陷上,确定性门检测到所有 27 个缺陷,在匹配的干净装置上没有误报,而单提示大语言模型审稿人检测到 11 个,其代码、参考书目和散文隐藏的风格缺陷中的遗漏。确定性验证会产生可审计、可重复执行的线索,揭示人们检查大语言模型辅助手稿所需的证据:可行性和可重复性证据,而不是人类竞争质量的主张,这是一项单独的盲法研究所解决的。 MedSci Skills 已获得 MIT 许可并存档 (v3.8.0)。