PhysTacGen：物理感知视觉触觉图像生成

摘要

现实的物理交互是体现智能的基石，但收集配对的视觉-触觉数据仍然成本高昂。视觉到触觉合成提供了一种有前途的方法来增强此类数据，但由于视觉外观和接触相关材料属性之间的差距以及配对观察中的空间错位，学习这种映射变得复杂。为了应对这些挑战，我们提出了 PhysTacGen，这是一种视觉到光学触觉图像生成框架，它将材料感知描述与几何条件集成在一起。首先，我们介绍 Group Tactile 策略 Optimization (GTPO)，这是一种强化学习策略，可细化视觉语言模型，以使用特定于任务的奖励生成结构化材料描述。其次，我们将基于 DINOv2 的对管理与单目相对深度估计相结合，以选择训练对并提供几何先验。最后，SDXL ControlNet 合成以 RGB、相对深度和 GTPO 生成的文本为条件的光学触觉图像。对精心策划的 SSVTP 数据进行的实验表明，与比较基线相比，结构相似性有所提高，而盲法用户研究则显示出对 GTPO 生成的描述的偏好。生成的触觉输入还可以提高属性导出的力系数预测代理的性能。这些结果共同证明了 PhysTacGen 在光学触觉图像合成方面的有效性及其在评估的下游任务中的实用性。代码可从 https://github.com/VDIGPKU/PhysTacGen. 获取

PhysTacGen：物理感知视觉触觉图像生成：论文原图 — 图 1：PhysTacGen 框架。根据视觉观察，我们的系统分三个连续阶段运行：（1）物理感知推理：通过 GTPO 微调的 VLM 推断潜在的物理属性。 (2)数据管理和空间先验：使用DINOv2对数据集进行语义纯化，并对输入RGB进行深度估计以形成4通道几何条件。 (3) 多模态合成：物理驱动的 SDXL ControlNet 合成高保真触觉传感器图像 $I_{t}$。这里$I_{v}$是外部视觉RGB图像，$I_{d}$是估计的相对深度先验，$c_{\mathrm{phys}}$是GTPO生成的物理描述；光学触觉图像是$I_{t}$。