Animation2Code：评估视频到代码生成中的时间视觉推理

虽然最近的视觉语言模型 (VLM) 在静态视觉到代码任务（例如为网页、图表或 SVG 生成代码）方面取得了显着改进，但仍不清楚它们是否可以在存在运动时恢复时间动态。为此，我们引入了Animation2Code，这是一个通过从视频重建可执行网络动画代码来评估时间视觉推理的基准。 Animation2Code 由 1,069 个具有不同视觉外观和运动模式的网络动画视频组成，并配有相应的 HTML/CSS/JavaScript 实现。我们提出了两个人类对齐指标：外观相似性和时间相似性，这使我们能够在将渲染动画与 真值 样本进行比较时将视觉保真度与时间对齐分开。在此数据集上对最先进的 VLM 进行基准测试表明，当前的 VLM 很难在重建过程中保持时间一致性，即使在实现高外观相似性时（包括在微调和迭代细化设置下）也是如此。代码和数据可在 https://anya-ji.github.io/animation2code-website 获取。