GeoTLM：用于动态物体接触运动方向推理的几何感知触觉语言模型

现代触觉语言模型（TLM）已显示出机器人学习任务的潜力，例如材料和纹理识别。然而，对于接触丰富的场景，这些 TLM 很难理解动态对象的物理属性，例如旋转和滑动方向。例如，我们的初步实验表明，流行的 TLM（例如 Sparsh 和 AnyTouch2）在根据 GelSight Mini 触觉数据进行基本旋转方向推理时表现出较弱的性能。这种令人惊讶的差距激发我们探索一个新的研究问题：我们能否将有物理依据的几何先验注入到 TLM 中，以实现动态对象属性的可靠接触方向推理？为此，我们提出了 GeoTLM，一种新颖的几何表示引导的 TLM，用于感知动态接触事件。我们的关键思想是在语言级推理之前保留和构造触觉剪切场几何形状，而不是将低分辨率的触觉标记强加到脆弱的封闭形式物理运算符中。为了实现这一目标，我们提出了一种轻量级（仅 14k 个参数）但新颖的可微几何表示（DGR）。具体来说，DGR 学习剪切场中的接触掩模引导表示，并通过反对称七区域池化设计将其聚合，其动机是旋转接触产生反对称变形模式的物理直觉。我们对两个代表性任务进行实验：旋转方向和滑动方向推理。大量实验表明，与没有几何编码器的相同骨干网相比，GeoTLM 将新物体旋转精度提高了 14.6%，将真实传感器滑动精度提高了 16.2%。总的来说，我们的工作为基于物理的触觉语言推理铺平了一条新的道路，在动态对象理解和富含接触的机器人操作方面具有强大的潜力。