AnimationBench：视频模型擅长以角色为中心的动画吗？

视频生成发展迅速，最近的方法产生了越来越令人信服的动画结果。然而，现有的基准（主要是为逼真的视频设计的）很难评估动画风格的生成及其风格化的外观、夸张的动作和以角色为中心的一致性。此外，它们还依赖于固定的提示集和严格的管道，为开放域内容和自定义评估需求提供的灵活性有限。为了解决这一差距，我们引入了 AnimationBench，这是第一个用于评估动画图像到视频生成的系统基准。 AnimationBench 将动画和 IP 保护的十二项基本原则转化为可衡量的评估维度，以及更广泛的质量维度，包括语义一致性、运动合理性和摄像机运动一致性。该基准支持用于可重复比较的标准化封闭集评估和用于诊断分析的灵活开放集评估，并利用视觉语言模型进行可扩展评估。大量实验表明，AnimationBench 与人类判断非常一致，并揭示了以现实为导向的基准所忽视的特定于动画的质量差异，从而对最先进的 I2V 模型进行信息更丰富、更具辨别力的评估。