感受意外：ResTacVLA 通过残留触觉表示进行丰富的接触操作

触觉感知对于丰富的接触操作是不可或缺的，但将其集成到视觉-语言-动作（VLA）模型中通常会导致模态崩溃，其中高带宽的视觉特征掩盖了稀疏的触觉线索。受预测编码（一种神经机制）的启发，大脑会减弱可预测的输入以优先处理令人惊讶的刺激，我们提出了 ResTacVLA。我们没有将触觉数据视为原始输入，而是将其重新表述为残留触觉表示，捕获视觉先验和身体感觉之间的差异。通过过滤掉视觉上可预测的动态，该公式将稀疏的触觉信号转换为密集的、高价值的信息增益，从而从本质上解决了带宽不匹配的问题。这些残差通过矢量量化 (VQ) 瓶颈离散化为潜在接触基元，捕获视觉错过的关键事件。与神经惊喜信号类似，我们在自适应门控触觉集成之前利用视觉的不确定性，特别在视觉不可靠的阶段优先考虑残差，以明确防止视觉优势。实验结果表明，ResTacVLA 在多种接触丰富的操作任务中始终优于所有基线，同时对意外的动态干扰保持鲁棒性。项目页面：https://awilekong.github.io/ResTacVLA/