通过音频转录检测视频中的错误信息

网络错误信息是最近最具挑战性的问题之一，会产生严重后果，包括政治两极分化、对民主的攻击和公共卫生风险。错误信息会出现在任何拥有大量用户群的平台上，包括在线社交网络和消息应用程序。它渗透到所有媒体和内容形式，包括图像、文本、音频和视频。显然，鉴于个人可以轻松地在各种视频共享平台上录制和上传视频，基于视频的错误信息对事实核查人员来说是一个多方面的挑战。之前的研究工作调查了检测基于视频的错误信息，重点关注视频是否在视频层面共享错误信息。虽然这种方法很有用，但它只能提供有限且不易解释的问题视图，因为它没有提供有关视频中何时发生错误信息以及哪些内容（即声明）造成视频错误信息性质的额外上下文。在这项工作中，我们试图通过创建两个新颖的数据集来弥补这一研究差距，这两个数据集使我们能够通过音频转录探索视频的错误信息检测，重点是识别导致视频错误信息声明的视频范围（错误信息范围检测）。我们为此任务提供了两个新数据集。我们将每个视频的音频转录为文本，识别出现错误信息声明的视频片段，从而生成两个包含 500 多个视频的数据集，其中 2,400 多个片段包含带注释的事实核查声明。然后，我们采用用最先进的语言模型构建的分类器，结果表明我们可以识别视频的哪个部分存在错误信息，F1 得分为 0.68。我们公开提供带注释的数据集。我们还发布所有文字记录、音频和视频。