论文

SNF-Bench:在长视野固定相机视频生成中将静态漂移与自然流分离

SNF-Bench: Separating Static Drift from Natural Flow in Long-Horizon Fixed-Camera Video Generation

模型评测评测方法与指标

摘要

使用奖励运动和时间一致性的全帧指标来评估长视距视频生成。对于固定摄像机的自然场景,这会产生歧义:水、火、烟或雨的运动是理想的,而背景的运动是错误的。因此,系统可以在场景漂移时在运动方面得分很高,或者在流程停滞时在一致性方面得分较高。我们引入了 SNF-Bench,这是一种用于长视距固定相机生成的评估框架,它将每个场景分为静态支持和动态流,并分别报告静态保真度、具有绝对大小的流持久性和漂移泄漏,而不是作为一个分数。漂移泄漏是解释性上下文而不是标题测量。每个因素都是机械地验证的,而不是通过与偏好的相关性来验证:我们将全局平移、旋转、尺度漂移和已知严重程度的渐进式后期冻结注入到真实的世代中,并要求每个因素按照其规定的方向做出反应,并保持选择性地对抗它不针对的腐败。在一种记录的公共推理配置下审核公开发布的长视野文本条件检查点,加上带有发布管道引用和部署敏感度面板的图像条件轨道,我们发现全帧运动和静态区域漂移会导致相同输出的几乎相反的顺序。在最大受控平移下,fBD 和 NBF 分别上升至 $1.86\times$ 和 $1.32\times$ 基线,但全帧动态度仅达到 $1.07\times$——奖励损坏。 SNF-Bench 测量运动发生的位置以及运动是否持续;它不衡量物理真实性。项目页面:https://minar09.github.io/snfbench/。