醒来触摸！ MLLM 中的掩模隔离触觉对准学习

触摸提供了感知内在材料特性（例如摩擦力和顺应性）所需的物理基础，而仅凭视觉通常无法解决这些问题。然而，最近为多模态 LLM 配备这种触觉的努力暴露了零和权衡：紧凑模型的有限参数预算迫使人们在获取新的感觉模态和保留已建立的视觉语言推理之间做出选择。我们推出了 Splash，一种用于 MLLM 的掩模隔离触觉对齐学习框架。 Splash 量化每个预训练参数的重要性，并将参数空间划分为休眠子空间和关键子空间。虽然冻结的关键子空间充当稳定的锚点来保护一般视觉知识，但 Splash 更新了隔离的休眠子空间以内化针对 LLM 的触觉对齐。这种选择性的、非破坏性的扩展有效地防止了灾难性的遗忘，并确保了非破坏性的模态扩展。大量实验表明，Splash 可以有效地实现触觉推理，而无需在 LLM 部分增加额外的推理开销，在包括 SSVTP、TVL 和 TacQuad 在内的视觉触觉基准测试上展示了最先进的性能，同时保留了其原有的通用功能。