论文

证据越多未必越好:生物医学因果检索中的发表偏倚漂移与原则性停止

When More Evidence Hurts: Publication-Bias Drift and Principled Stopping for Biomedical Causal Search

智能体系统Agent 规划

摘要

自动化生物医学证据合成依赖检索已发表研究,但生物医学文献系统性地偏向阳性结果。因此,当真实效应为零时,更深的检索反而可能使系统更容易错误地推断存在获益。我们将这一现象形式化为证据漂移(evidence drift),并证明在标准发表偏倚模型下,零效应查询上的假阳性概率随检索深度遵循严格递增的大样本包络,趋近于一。实证上,在 140 个源自 Cochrane 的保留测试查询上,当检索预算从 3 步增至 20 步时,漂移从 7.9% 单调升至 15.7%,且集中于零效应类别。我们提出 DACG-agent,一个漂移感知的因果图智能体,从 PubMed 摘要增量构建因果知识图谱,并应用两层互补的停止策略:KL 散度监测器检测后验收敛(准确性层),Bradley-Terry 过程奖励模型(PRM)的在线下降检测在证据质量达峰后停止检索(效率层)。相比全预算检索,DACG-agent 将证据漂移从 15.7% 降至 6.4%,零效应准确率提升 21 个百分点(40.0% 到 61.4%),同时检索步数减少 67%;总体准确率从 61.4% 升至 69.3%(95% CI 61-77)。模拟实验确认漂移结论可从所分析的计票聚合器迁移到部署的 noisy-OR 聚合器。

证据越多未必越好:生物医学因果检索中的发表偏倚漂移与原则性停止:论文配图
图 1:不同聚合器与假设下的漂移。左:计票法与 noisy-OR 产生难以区分的持续上升漂移,证实该结果可迁移到实际部署的聚合器。右:相关证据与随查询变化的偏置仍保持单调;非对称抽取(对漏报空值的情形更符合现实)漂移更高但非单调,因此该定理是一个保守界。