SiPhy：单图像物理属性推理

从单个图像推断质量、刚度和弹性等物理属性对于模拟和嵌入式人工智能至关重要，但大多数现有方法依赖于多视图重建或基于物理的监督。我们推出了 SiPhy，这是一个用于单图像物理属性推理的统一框架，可将 3D 感知视觉线索、深度与基于语言的材料知识结合起来。 SiPhy 从一幅 RGB 图像中对伪体素点进行采样，提取 CLIP 特征，并将其基于 VLM 提出的候选材料。基于零件的对比聚合器增强了区域一致性，而重量感知细化则改进了密集物体的厚度和体积估计。在 ABO-500、MVImgNet-100 和 PhysXNet-100 中，SiPhy 实现了最先进的单图像性能，通过将质量 MnRE 提高高达 93%（相对于 PUGS）、将密度 MAE 降低 35.5%（相对于 NeRF2Physics）以及将杨氏模量误差降低 23.5%，超越了多视图重建方法。我们在真实的手部物体交互数据集上进一步验证了 SiPhy，展示了其作为从单视图图像进行物理理解的数据注释引擎的潜力。