面向儿童的 AIGC 视频风险评估：基准和知识支持的迭代推理框架

人工智能生成内容 (AIGC) 的快速增长正在重塑视频制作和流通，让儿童接触到越来越多的 AIGC 视频。与传统制作的视频不同，AIGC 视频通常在视觉细节、叙事连贯性和内容表达方面表现出更大的不确定性，这可能会给儿童带来不适当的发育风险。然而，现有的视频安全研究主要是从成人角度进行一般违规检测，不足以识别儿童在观看 AIGC 视频时可能遇到的细粒度、隐性和上下文相关的风险。为了解决这一差距，我们研究了面向儿童的 AIGC 视频审查，做出了三点贡献。首先，我们构建了从多个平台收集的 605 个真实世界视频的基准 CAVSR，并开发了包含 6 个顶级类别和 26 个细粒度标签的分层风险分类法，以支持对儿童观看风险的系统评估。其次，我们提出了 QVRS-E，这是一种知识和经验增强的视频审查框架，它将多智能体协作与专家和经验知识相结合，以支持有针对性的证据获取和基于事实的审查决策。第三，广泛的实验表明，我们的方法显着增强了与视觉语言模型相结合的儿童相关风险的审查，并产生更可靠的审查报告。