论文
SPLATIFY:将3D高斯泼溅论文与构想转为可训练代码
SPLATIFY: Reproduce, Discover, Innovate! From Papers and Ideas to Trainable 3DGS Code
摘要
3D 高斯溅射 (3DGS) 研究的快速发展需要在论文的基础上进行大量工作来重新实现它们。我们引入了 SPLATIFY,这是一个多智能体框架,可将 3DGS 论文转换为可训练的基于 gsplat 的实现,而通用的论文到代码方法和前沿模型则无法实现。 SPLATIFY 通过五项创新实现了这一目标:(1) 基于模块化方法模板的 gsplat 上下文无关语法,具有损失、致密化、渲染和优化的扩展点,约束合成,以便生成的代码通过构造满足 gsplat 的架构不变量。 (2) 忠实再现的架构元素:以功能级粒度检索组件级代码的分叉感知引文恢复、拓扑依赖顺序的思维图合成、从 20 多个经过验证的实现中选择 RAG 引导的上下文示例,以及结合 PSNR 引导的再生、高斯级结构检查和 VLM 驱动的修补的视觉反馈。 (3)知识驱动的组合改进,自主发现弱点并组合互补的正则化器、损失和致密化策略以改进原始结果。 (4) 跨学科方法发现,Agent从 3DGS 文献之外检索物理先验,并将其与渲染知识组合起来,为以前未解决的场景类型生成方法。 (5) SPLATIFY-Bench,一个涵盖 30 篇不同 3DGS 论文的评估框架。在没有公共代码的论文上,SPLATIFY 可以匹配专家实现,同时将开发时间从几周缩短到几分钟,并通过成分发现进一步将 PSNR 提高高达 2.4 dB。我们还展示了完全由 SPLATIFY 合成的体积星云渲染和其他科学领域的新方法。
