论文

CoDimRecon:用可变形曲线、曲面和体积进行Agentic仿真场景重建

CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

智能体系统Agent 环境交互

摘要

从现实世界的观察中重建模拟就绪的 3D 场景可以实现机器人、游戏和沉浸式应用,但现有方法主要假设刚性对象。这给可变形物体留下了一个重要的空白,其可用于模拟的几何形状取决于维度(曲线、曲面或体积),并且其行为可能需要超越弹性的模型。我们提出了 CoDimRecon,这是一个 Agentic 框架,它可以从多视图 RGB 观察中重建包含刚性、铰接和可变形对象的可编辑场景。场景级几何先验地面比例和布局,而对象级生成的网格引导Agent走向详细、紧凑的几何体;铰接式刚性物体被分解为具有明确关节的可移动部件。对于可变形物体,按类别Agent会话将曲线重建为具有半径的中心线,将表面重建为具有厚度的流形壳,将体积重建为用于体积网格划分的防水实体。可重复使用的模拟器技能可以初始化兼容的物理模型和参数,而Agent引导的行为测试可以暴露不匹配的情况并触发对运动、几何、数字或材料建模的有针对性的修改。在评估的 Replica 和 ScanNet++ 场景中,CoDimRecon 实现了具有竞争力的成分重建精度,同时还为杆、壳和实体模拟生成可变形资产。我们进一步演示了所有三种表示形式的机器人交互,包括受控的纸张折叠案例,其中行为测试激发了塑料弯曲。