论文
视听同步指标实际测量什么?
What Do Audio-Visual Synchronization Metrics Actually Measure?
摘要
自动 AV 同步指标广泛用于对视听生成器进行排名和训练,但很少将它们作为测量工具进行审核。我们在通用可靠性协议下联合审核 AV-Align、ImageBind AV 相关性、JavisScore 和 Synchformer/DeSync:受控失真单调性、预处理灵敏度、排名不确定性、跨度量协议、PEAVS 代理协议和学习融合。结果是轴分裂,而不是单一赢家:Synchformer/DeSync 是最强的时间偏移跟踪器 ($τ=0.84$),ImageBind/JavisScore 更好地匹配 PEAVS 人类对齐代理 ($τ=0.20$) 和内容中断系列,而 AV-Align 是最弱的独立指标。这些指标相互不一致(Krippendorff $α=0.066$),并且线性或简单的 $k$-NN 融合都无法提高 PEAVS 与最佳单个指标的一致性。我们建议将 AV 同步报告为可靠性卡(带有置信区间的指标系列细分),而不是单个裸同步分数。