论文

大语言模型 用于社交媒体中的因果关系提取:灾难情报的验证框架

Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

模型评测评测方法与指标

摘要

在灾难期间,从社交媒体中提取因果关系可以通过识别与伤亡、物理损坏、基础设施破坏和连锁影响相关的因素来加强态势感知。然而,与灾难相关的帖子通常是非正式的、支离破碎的、依赖于上下文的,并且它们可能描述个人经历而不是明确的因果关系。在这项工作中,我们检查 大语言模型 (LLM) 是否可以有效地从与灾难相关的社交媒体帖子中提取因果关系。为此,我们(1)提出了一个以专家为基础的评估框架,将 LLM 生成的因果图与源自特定灾害报告的参考图进行比较,以及(2)评估提取的关系是否得到事件后证据的支持或反映模型先验。我们的研究结果强调了在灾难决策支持系统中使用 LLM 进行因果关系提取的潜力和风险。