论文
TacReasoner:面向真实场景交互推理的动态触觉—语言框架
TacReasoner: A Dynamic Tactile-Language Framework for Interactive Reasoning in Real-World Scenarios
摘要
在人类五种主要感官中,触觉可以说是生存最根本的——它使能对真实环境中物理接触与交互的感知。本文探讨把触觉感知整合进多模态推理智能系统的两个关键挑战:(i) 动态触觉信号建模不足——限制对时序演化属性的推理;(ii) 缺乏显式推理机制导致的触觉基础模型幻觉——导致不稳定的真实推断。我们提出TacReasoner:面向真实场景交互推理的动态触觉—语言框架。首先,TacReasoner纳入动态感知触觉编码器,增强动态触觉信号的感知与表示;更重要的是,我们引入TouchCoT-10k——首个对触觉输入做结构化推理的触觉思维链数据集;并在其上建立DynTac-Bench,系统评估动态触觉感知与真实世界常识推理。实验显示TacReasoner跨多个数据集取得与最先进模型有竞争力的表现——尽管仅用7B参数,TacReasoner在多数子任务上超过14B的VTV-LLM模型,凸显其在触觉常识推理上的有效性与效率。
