论文
解决多模态模糊下性别经济模因推理中的过度承诺
Addressing Overcommitment in the Reasoning of Gendered Economic Memes under Multimodal Ambiguity
摘要
多模态模因理解越来越多地用于分析社会敏感内容,但现有模型在解释模糊性下的经济依赖和社会角色时常常表现出有偏见的行为。许多模因通过稀疏的文本或象征性的视觉线索来表达经济关系,为性别归因提供了足够的证据。在这种未指定的环境中,模型往往依赖于训练前的相关性,从而导致幻觉和刻板的经济角色分配。在这项工作中,我们通过语境充分性的视角研究图像文本模因中的性别经济依赖性,并确定认知过度承诺(没有足够证据的情况下推断角色)作为偏见的主要来源。我们提出了 CGER-Net,这是一个基于上下文的多模态框架,它估计输入是否为性别经济推理提供了足够的证据,并应用证据门控推理以在线索明确时实现置信归因,而在其他情况下支持原则性弃权。我们在 EconMeme-GE(一个精心策划的图像文本数据集)上评估 CGER-Net 迷因被注释为男性、女性、中性或模糊。在强大的当代多模式基线上,CGER-Net 在模糊情况下将性别过度承诺率降低了高达 44%,同时在明确情况下保持了相当的准确性。人类评估进一步表明,79% 的生成理由被认为在认知上与现有证据一致。这些结果凸显了建模在不推断可靠且负责任的多模态分析时的重要性。