论文
TacGen：触摸是物理世界表示的必要维度——通过可扩展的视觉到触摸对齐和生成解决触觉数据稀缺问题
TacGen: Touch Is a Necessary Dimension of Physical-World Representation -- Addressing Tactile Data Scarcity with Scalable Vision-to-Touch Alignment and Generation
摘要
触摸解决了视觉留下的物理属性模糊性：探索性接触恢复形状、纹理、顺应性和材料，视觉触觉对象表征汇聚在腹侧视觉皮层。我们询问表征学习是否可以重现这种基础。 TacGen 通过将预先指定的 V+T 对比对齐与潜在空间残差 MLP V->T 生成器相结合来缓解触觉数据稀缺瓶颈，该生成器从 RGB 合成触觉潜在值以进行触觉数据缩放。通过匹配的 DINOv2 主链、分裂和探针，V+T 在质量 (Delta R^2=+0.570)、密度 (Delta acc=+0.067)、硬度 (+0.117) 和不确定性带状力标签 (Delta R^2=+0.281) 上改进了仅匹配的 V；所有 CI 均排除零。相同的表示将匹配容量 TACTO 操作提升 0.246->0.979，而仅 V 容量扩展仅占差距的 4.5%，保留了 95.5%。生成器达到交叉种子+0.589，种子区间内真实触觉+0.585；架构比较显示重建质量和表示效用之间存在 13pp 的下游差距。通过五种子 SSVTP/TVL 复制、YCB-Sight 传输、三主干检查、排列/随机特征控制、哈希验证清单和测量力验证检查，证据支持这样的说法：触摸为表示接触相关属性提供了必要的物理证据通道。