解码多模态线索：揭示仇恨视频背后的隐含含义

仇恨视频在网络平台上盛行，凸显了有效检测的迫切需要。然而，现有的研究主要集中在二元分类上，未能提供揭示这些判断背后隐含含义的上下文基本原理，从而显着破坏了模型的可解释性。为了填补这一空白，我们的目标是实现可解释的仇恨视频检测，使模型能够提供将相关证据和逻辑推理与决策相结合的上下文原理。这种方法可以全面增强对视频内容的理解和决策过程的可解释性。我们首先介绍两个数据集 Ex-HateMM 和 Ex-ImpliHateVid，用于可解释的仇恨视频检测。每个数据集都提供多模式有害元素的细粒度注释以及上下文原理。然后，我们提出了一种专为可解释检测而设计的信息增强和推理增强（IARE）框架。该框架采用信息增强阶段，利用多模式思维链整合有害元素，从而丰富理论依据。此外，IARE 还包含一个推理增强阶段，其中直接偏好优化引导模型走向正确的推理路径并远离错误的推理路径，从而提高其论证的逻辑连贯性。我们对两个数据集进行了广泛的实验，将多个基线与我们提出的 IARE 框架进行了比较。结果表明，IARE 实现了最先进的性能，同时还生成了准确的原理。