视频生成模型中成人内容检测的潜在空间探测

人工智能驱动的视频生成系统的快速普及给内容审核带来了重大挑战，特别是在成人和色情内容方面。现有的检测方法对提示或解码的像素空间输出进行操作。因此，这两种方法都忽视了生成过程中形成的丰富的内部表征。在本文中，我们提出了一种新颖的潜在空间探测框架，该框架在推理过程中拦截 CogVideoX 视频扩散模型产生的去噪潜在表示，并附加轻量级分类器来执行实时成人内容检测。为了支持这项工作，我们构建了一个大规模二进制数据集，其中包含分别来自成人网站和 YouTube 的 11039 个 10 秒视频剪辑（5086 个违规视频，5953 个非违规视频）。我们引入两种轻量级探测分类器架构。我们在数据集上对其进行训练和评估。我们的工作表明，潜在空间信号编码了用于有害内容检测的强判别性特征，在我们的测试集上实现了 97.29% F1，开销在 4-6 毫秒范围内。我们的结果表明，探测潜在空间可以提高检测性能和成本。