论文
ARGUS：以可检索证据审计气候政策因果识别假设
Evidence-Grounded Auditing of Identification Assumptions in Climate-Policy Causal Evaluations
摘要
双重差分（DID）研究广泛用于评估气候政策，但评估支持其识别假设的证据仍然具有挑战性。我们引入了 ARGUS，这是一种结构化语言模型管道，可根据 11 维假设-蕴涵-证据准则审核报告的证据，并在无法检索到相关证据时弃权。我们使用注入缺陷、经济学论文和带有协调标签的小型试点来评估 ARGUS。在 11 个缺陷基准测试中，ARGUS 检测到了 73% 的植入缺陷，而基于关键字的管道只能检测到 18%。在 26 篇经济学论文中，由于缺乏可检索的证据，ARGUS 放弃了约 40% 的论文维度评估。在由两名注释者协调标签的五篇论文试点中，它为所完成的 33 项评估中的 25 项分配了比标签更高的风险级别。在标签到达之前确定的规则会删除样本中的大部分内容；加权一致性保持较低水平。 ARGUS 提供与证据相关的风险报告，找出潜在的弱点供专家审查，而无需裁决因果关系。代码和数据：https://github.com/yonghongzhang-io/ARGUS
