CLARA：剪辑级多模态对齐与 VLM 导出的仇恨视频检测原理

鉴于仇恨言论对个人福祉和社会凝聚力构成严重风险，随着以视频为中心的社交媒体平台的快速发展，仇恨视频检测变得越来越重要。与文本或静态多模态内容相比，仇恨视频检测仍未得到充分探索，并且更具挑战性，因为仇恨含义通常来自多模态线索（包括语音、音频和视觉内容）之间的复杂交互。此外，此类信号通常是简短的、隐含的且与时间相关的，使得它们难以使用传统的视频级表示来捕获。在这项工作中，我们提出了 CLARA，一种用于仇恨视频检测的剪辑级多模式框架。 CLARA 没有将视频视为单个实例，而是将其建模为一系列细粒度剪辑，从而能够更精确地捕获时间局部的仇恨信号。我们引入了用于自适应多模态对齐的专家混合剪辑编码器、用于联合建模短期线索和长期时间依赖性的局部-全局分段对比目标，以及通过门控 Transformer 集成的 VLM 派生原理以提供高级语义指导。对三个可恶视频数据集的大量实验表明，CLARA 始终优于最先进的方法。进一步的消融研究和参数分析验证了每个组件的有效性。