论文

FigSIM:细粒度自杀严重程度和自杀模因中的比喻语言的数据集

FigSIM: A Dataset for Fine-grained Suicide Severity and Figurative Language in Suicide Memes

模型评测基准与评测资源

摘要

自杀模因是用来表达与自杀相关的想法或评论与自杀相关的问题的模因。自杀迷因在社交媒体上越来越常见,但人们仍然知之甚少,而且可能有害。迫切需要更好地了解其特征并制定适当的内容审核策略,以限制用户接触潜在有害的内容。目前,缺乏带注释的自杀模因数据集仍然是开发和评估自动审核方法的主要障碍。在本文中,我们介绍 FigSIM,这是第一个为自杀模因细粒度分析而设计的数据集。该数据集由 1049 个模因组成,每个模因都注释为 (1) 细粒度的自杀严重程度、(2) 比喻现象(例如隐喻)和 (3) 与自杀相关的内容(例如自杀方法描述)。我们针对三个任务对 16 个单模态和多模态模型进行了基准测试:比喻语言、自杀严重程度和自杀相关内容检测。总体而言,FigSIM 表明自杀模因给建模和内容审核带来了独特的挑战。分析揭示了偏见,例如低估了较高的自杀严重程度,尤其是对于比喻模因。数据集(包括用于分析的分割)是公开可用的。内容警告:本文包含可能引发自杀的相关内容。