论文

使用Agentic Harness构建用于元分析综合的可执行分析知识表示

Constructing Executable Analytical Knowledge Representations for Meta-Analysis Synthesis Using an Agentic Harness

智能体系统Agent Harness

摘要

元分析综合展示了知识驱动的科学研究分析中一个基本挑战:结构化的证据本身并不能代表执行计算所需的分析知识。关于证据分配、分析对比、结果和时间点对齐、效应量形式化和方法学可接受性的决策必须明确,才能进行统计执行。现有的自动化方法往往将这些决策嵌入到模型输出、生成的代码或工作流追踪中,而不是作为独立可验证的知识来表示。我们引入了可执行分析知识表示(EAKR),这是一种将结构化证据转换为可执行元分析所需的知识表示。EAKR代表证据、关系、数值输入、约束、来源和未解决的问题。我们在元分析决策(MetaSynDec)中实现了EAKR,这是一个大语言模型提出的结构化更新,以及确定性服务来验证和执行基于模式和合同的方法学。在58个元分析单元中,MetaSynDec构建了所有EAKR,其中57个单元继续进行统计执行。在56个单元中,有足够的信息来定义参考分析对象,38个(67.9%)单元达到了完整的对象忠实度,42个(75.0%)单元实现了精确的证据集对齐,平均Jaccard相似度为0.909。生成与已发布的置信区间在55个单元中的54个重叠(98.2%)。MetaSynDec在参考合成结构一致性(57/58 vs 23/58;p<0.001)和与23个共同完成的单元相比,精确的参考形式一致性(23/23 vs 1/23;p<0.001)方面表现优于直接LLM生成。这些发现为EAKR支持正式验证、可追溯性、统计执行和相对提高的方法学一致性提供了可行性证据。

使用Agentic Harness构建用于元分析综合的可执行分析知识表示:论文配图
图 1:荟萃分析综合作为统计组合之前的证据路由。临床研究首先转化为结构化证据记录。记录不是直接合并,而是根据它们回答的分析问题(例如结果和随访时间)进行分组。仅对同一分析就绪组内的记录进行统计组合,而不兼容的记录将路由到不同的分析。这种中间分组是拟议的可执行分析知识表示(EAKR)的重点。