论文
具有多实例部分标签学习的视频分类联合课堂学习
Joint Class-Time Learning for Video Classification with Multi-Instance Partial-Label Learning
摘要
多实例部分标签学习(MIPL)解决了实例和标签空间中不精确的监督问题,可应用于视频分类。然而,包级标签并没有明确监督候选类别和时间证据之间的对应关系。我们提出 {\ours},它通过联合类时间分配将标签消歧与时间证据分配结合起来。占用规则化球形匹配关联上下文视频特征,同时学习不均匀的时间质量并阻止过度集中。在训练期间,候选限制推理会重新计算候选标签集中的分配。然后,双边缘 KL 投影构建了一个结构化的教师模型,其中包含动量精炼的阶级信念,同时保留提案的时间占用。单个计划级 KL 目标将全空间预测器与此教师模型对齐。我们的分析描述了候选解决与屏蔽不同的情况,并表明,在所述结构下,联合目标分解为类边缘和类条件时间监督。我们使用模型生成的候选标签从 Breakfast、DoTA 和 FineAction 构建 VCMIPL 基准,并跨四种特征表示评估该方法。大量的实验结果表明,PIVOTMIPL 在有效性和效率方面均优于现有的 MIPL 算法。
