触觉基础模型的潜力

尽管基础模型在语言和视觉方面取得了成功，但它们向实体人工智能的扩展却因缺乏通用触摸感应而受到瓶颈。这种限制与消费电子产品尤其相关，其中智能手机、可穿戴设备、VR 控制器、家庭机器人和健康监测设备需要安全且自适应的物理交互。受硬件异构性和主动物理数据收集必要性的限制，当前的触觉模型仍然严格针对特定任务。为了克服这些限制，本文探讨了触觉基础模型（HFM）的变革潜力和发展轨迹。我们详细介绍了从被动 大语言模型 和视觉语言模型过渡到主动 HFM 所需的范式转变，涉及四个核心维度：动作耦合、物理动态表示空间、连续时间序列数据粒度和动作条件的未来状态预测。此外，我们综合了现有的大规模触觉数据集，并在 TacBench 上对 UniTouch、AnyTouch、T3 和 Sparsh 进行了基准测试，以进行力估计、滑动检测和相对姿态估计。