论文

SPLATIFY:将3D高斯泼溅论文与构想转为可训练代码

SPLATIFY: Reproduce, Discover, Innovate! From Papers and Ideas to Trainable 3DGS Code

应用与实践上下文与知识智能体系统检索增强Agent 协作智能体自我改进编程

摘要

3D 高斯溅射 (3DGS) 研究的快速发展需要在论文的基础上进行大量工作来重新实现它们。我们引入了 SPLATIFY,这是一个多智能体框架,可将 3DGS 论文转换为可训练的基于 gsplat 的实现,而通用的论文到代码方法和前沿模型则无法实现。 SPLATIFY 通过五项创新实现了这一目标:(1) 基于模块化方法模板的 gsplat 上下文无关语法,具有损失、致密化、渲染和优化的扩展点,约束合成,以便生成的代码通过构造满足 gsplat 的架构不变量。 (2) 忠实再现的架构元素:以功能级粒度检索组件级代码的分叉感知引文恢复、拓扑依赖顺序的思维图合成、从 20 多个经过验证的实现中选择 RAG 引导的上下文示例,以及结合 PSNR 引导的再生、高斯级结构检查和 VLM 驱动的修补的视觉反馈。 (3)知识驱动的组合改进,自主发现弱点并组合互补的正则化器、损失和致密化策略以改进原始结果。 (4) 跨学科方法发现,Agent从 3DGS 文献之外检索物理先验,并将其与渲染知识组合起来,为以前未解决的场景类型生成方法。 (5) SPLATIFY-Bench,一个涵盖 30 篇不同 3DGS 论文的评估框架。在没有公共代码的论文上,SPLATIFY 可以匹配专家实现,同时将开发时间从几周缩短到几分钟,并通过成分发现进一步将 PSNR 提高高达 2.4 dB。我们还展示了完全由 SPLATIFY 合成的体积星云渲染和其他科学领域的新方法。

SPLATIFY:将3D高斯泼溅论文与构想转为可训练代码:论文原图
图 2:简化的 SPLATIFY 管道。对再现、细化和跨学科方法发现的高层次看法。图 3 显示了详细的架构。