MemeTAG：通过标签嵌入重建关键字驱动的模因分类

有害互联网模因的扩散构成了重大的社会威胁，但由于其内容的细致入微、多模式性质，它们的自动分类仍然是一个巨大的算法挑战。为了解决这个问题，我们引入了 MemeTAG，这是一种新颖的双目标框架，开创了一种关键词感知模因分类方法。我们的核心创新是由两部分组成的语义指导机制：首先，我们利用预训练的视觉语言模型来生成一组描述性关键字，以捕获高级语义。其次，我们介绍聚合标签推理网络（ATIN），这是一个基于注意力的模块，它将这些关键词提炼成单个丰富的语义嵌入。这种嵌入作为新颖的辅助重建损失的目标，迫使模型学习深度对齐的视觉和文本特征。这种方法与高效的三阶段训练策略相结合，在 HarMeme、Hateful Memes Challenge (HMC) 和 PrideMM 数据集上建立了新的最先进方法，明显优于现有的最先进方法。