论文
PPTBench:编码代理能否通过结构化、可编辑的幻灯片重建视觉世界
PPTBench: Can Coding Agents Reconstruct the Visual World through Structured, Editable Slides
摘要
编码代理开始在视觉世界中发挥作用。他们现在构建网页、GUI、游戏、3D 场景、图表和文档。这种视觉编码的成功需要弥合两个空间:推断视觉结构并以编程方式表达它。幻灯片是知识工作的核心媒介,广泛用于以人们可以直接检查和编辑的形式交流思想和协作。因此,它们为视觉编码提供了理想的测试平台,因为它们需要代理恢复视觉结构并将其实现为可编辑对象。然而,现有的基准要么依赖于主观的开放式评估,产生不可编辑的代码输出,要么只关注本地编辑而不是端到端的视觉重建。我们介绍 PPTBench,它通过可编辑幻灯片重建来对视觉编码进行基准测试。它包含 500 个任务,每个任务都基于真实 arXiv 论文中的科学流程图,并要求代理将其重建为由本机可编辑对象组成的单个 PPTX 页面。四阶段 Agentic Judge 评估工件有效性、语义正确性、渲染质量和细粒度视觉质量。在涵盖车型系列、努力水平和Harness的 31 种配置中,最佳配置 Kimi K3 仅达到 67.80,而中位数得分为 19.47。我们发现代理可以可靠地生成有效的 PPTX 文件,但仍然难以解决语义和视觉正确性,尤其是文本细节。更多的推理主要帮助代理通过硬门,而更强的验证则更一致地与更高的质量相关。 PPTBench 推进了编码代理的愿景,使编码代理能够通过结构化、可编辑的代码来理解和重建视觉世界。