论文
超越准确性：模因中仇恨言论检测的视觉语言模型的定性分析
Beyond Accuracy: A Qualitative Analysis of Vision-Language Models for Hate Speech Detection in Memes
摘要
事实证明，模因是一种强大的工具，个人可以通过它分享他们对当代社会和政治问题的想法。他们的匿名性以及病毒式传播的能力使他们成为传播仇恨的强大媒介。识别这种复杂且依赖于上下文的仇恨言论仍然非常困难。尽管视觉语言模型（VLM）在多模态任务上表现出色，但它们往往会忽略上下文、讽刺和其他在识别仇恨模因中发挥关键作用的微妙线索。在这项工作中，我们对四种最先进的 VLM 进行了定性分析：LLaVA-7B、Qwen-VL、GPT-4o mini 和 Claude 3 Haiku。我们在零样本和少样本提示下评估这些模型，以检查上下文框架如何影响它们的输出。我们的分析超越了简单的分类准确性，而是侧重于对模型生成的理由进行定性评估，从而更深入地了解其在处理仇恨模因时的思维过程和约束。