论文

CFMS:迈向可解释且细粒度的中文多模态讽刺检测基准

CFMS: Towards Explainable and Fine-Grained Chinese Multimodal Sarcasm Detection Benchmark

模型评测基准与评测资源

摘要

多模式讽刺检测最近引起了广泛关注。然而,现有的基准存在粗粒度注释和有限的文化覆盖范围,这阻碍了细粒度语义理解的研究。为了解决这个问题,我们构建了 CFMS,这是第一个为中国社交媒体量身定制的细粒度多模态讽刺数据集。它包含 2,796 个高质量的图像文本对,并提供三级注释框架:讽刺识别、目标识别和解释生成。我们发现细粒度的解释注释有效地指导人工智能生成具有明确讽刺意图的图像。此外,我们策划了一个高一致性的并行汉英隐喻子集(每个200个条目),揭示了当前隐喻推理模型的显着局限性。为了克服传统检索方法的限制,我们提出了一种强化学习增强型上下文学习策略(PGDS)来动态优化样本选择。大量实验表明,CFMS 为构建可靠的多模态讽刺理解系统提供了坚实的基础,并且 PGDS 方法在关键任务上显着优于现有基线。我们的数据和代码可在 https://anonymous.4open.science/r/CFMS-E8F9 上获取。