基于属性的视频复杂性测量

提出了一种用于估计视频-问题对对视频 LLM 所带来的复杂度的新框架，即基于视频属性的复杂度（VideoABC）。视频复杂度定义为给定视频-问题对的视频-LLM 失败的概率。 VideoABC 是一种非参数复杂性度量，使用参考视频数据集和提供复杂性信息的视频属性的预定义词汇表，例如提供问题信息的场景复杂性或视频事件的速度。在训练阶段，参考视频被投影到这些属性的空间中，然后被量化。然后计算每个量化单元的预期 ABC。给定一个新视频及其到属性空间的投影，复杂性通过相关量化单元的预期 ABC 来估计。为了能够将 VideoABC 与小型参考视频数据集一起使用，需要组合两个量化器：一个 k 均值量化器，可以对参考数据集分布中的样本进行准确的复杂性估计；另一个通用点阵量化器，可以保证对分布外样本的泛化。受心理物理学研究的目标干扰器操作的启发，提出了一种合成视频生成程序，用于在训练期间填充晶格量化器的单元，从而能够计算其预期的 ABC。实验结果表明，即使对于非常低维的属性表示，VideoABC 也是有效的，大大优于“video-LLM as Judge”等方法，而且复杂性要低得多。最后，VideoABC 分数在明确定义的属性方面的可解释性，为了解基准的属性组成如何影响其复杂性提供了见解。