社会科学研究设计跟踪和评估

对社会科学中因果研究设计的可靠评估对于基于证据的政策制定至关重要，但迄今为止完全依赖于手动专家分析。我们引入自动研究设计跟踪和评估（ARDTrA），这项任务涉及检测论文中使用的研究设计并评估其应用的质量。我们创建了一个由专家注释的论文数据集，涵盖六个反事实研究设计系列，并使用基于多轮 RAG 的对话管道评估任务。在四种检索策略、四种 LLM 和六种嵌入模型中，我们发现段落长度是性能的主要驱动因素，解释了 52-66% 的方差。每个研究设计的分析还表明，人类和机器的难度并不一致：事实证明对系统来说最难的设计并不是专家注释者最不同意的设计，这指出了任务难度的两个独立来源。