TouchThinker：经大规模数据与动作感知表示把触觉常识推理扩展到开放世界

触摸是实体主体理解物理世界的关键方式。尽管最近的工作已将触觉信号纳入语言系统中以进行触觉常识推理，但由于两个关键瓶颈，将此类系统扩展到现实的开放世界环境仍然具有挑战性：（1）当前的触觉推理数据集在格式和规模上仍然有限，为从触觉观察到物理常识的推理提供了不足的监督，并阻碍了可迁移触觉常识的学习； （2）触觉信号本质上是冗余的和特定于动作的，但现有的方法经常忽视这些属性，导致低效的表示和有限的语义表达。为了解决这些限制，我们提出了 TouchThinker，这是一种触觉语言框架，可以从数据和表示的角度将触觉常识推理扩展到开放世界。首先，我们构建了 TouchThinker-1M，这是一个百万级、多源触觉推理数据集，涵盖 415 个物体、8 个场景和 7 种传感器类型，为开放世界泛化提供了坚实的数据基础。我们进一步介绍了 TouchThinker-Bench，一个开放世界的基准测试，具有更现实和多样化的任务。然后，我们提出了动作感知建模机制来提高触觉表示效率并实现高效推理。实验结果表明，TouchThinker 在多个数据集上实现了与最先进模型相比的竞争性能。我们的代码和数据集将在以下位置提供：https://github.com/lvkailin0118/TouchThinker。