论文

SLAT-Phys:根据结构化 3D 潜伏进行快速材料属性场预测

SLAT-Phys: Fast Material Property Field Prediction from Structured 3D Latents

应用与实践视觉感知与空间理解

摘要

估计 3D 资产的材料属性场对于基于物理的模拟、机器人技术和数字孪生生成至关重要。现有的基于视觉的方法要么过于昂贵且速度缓慢,要么依赖 3D 信息。我们提出了 SLAT-Phys,这是一种端到端方法,可以直接从单个 RGB 图像预测 3D 资产的空间变化材料属性场,而无需显式 3D 重建。我们的方法利用预训练的 3D 资产生成模型中的空间组织潜在特征,该模型编码丰富的几何形状和语义先验,并训练轻量级神经解码器来估计杨氏模量、密度和泊松比。关于对象几何形状和外观的潜在表示的粗糙体积布局和语义线索可以实现准确的材料估计。我们的实验表明,与之前的方法相比,我们的方法在预测连续材料参数方面提供了具有竞争力的准确性,同时显着减少了计算时间。特别是,SLAT-Phys 在 NVIDIA RTXA5000 GPU 上每个对象仅需要 9.9 秒,并且避免了重建和体素化预处理。与之前的方法相比,这使得速度提高了 120 倍,并且可以从单个图像更快地估计材料属性。