TouchAnything：稀疏机器人触摸的扩散引导 3D 重建

准确的物体几何形状估计对于许多下游任务至关重要，包括机器人操作和物理交互。尽管视觉是形状感知的主要方式，但在遮挡或具有挑战性的照明条件下它变得不可靠。在这种情况下，触觉传感通过物理接触提供直接的几何信息。然而，仅从稀疏的局部接触重建全局 3D 几何结构从根本上来说是受到限制的。我们提出了 TouchAnything，这是一个框架，利用预训练的大规模 2D 视觉扩散模型作为语义和几何先验，用于根据稀疏触觉测量进行 3D 重建。与之前训练特定类别重建网络或直接从触觉数据学习扩散模型的工作不同，我们将预训练视觉扩散模型中编码的几何知识转移到触觉领域。给定稀疏接触约束和对象的粗略类级描述，我们将重建公式化为一个优化问题，该优化问题强制触觉一致性，同时引导解决方案获得与扩散先验一致的形状。我们的方法只需几次触摸即可重建准确的几何形状，优于现有基线，并能够对以前未见过的对象实例进行开放世界 3D 重建。我们的项目页面是 https://grange007.github.io/touchanything 。