NeuPAT：语言保护 MLLM 的神经元感知可塑性分配调整

大语言模型 (LLM) 的多模态扩展可实现新的感知能力，但通常会损害预训练期间获得的语言智能。在这项工作中，我们从内部适应动力学的角度研究了这一现象，发现预训练的 LLM 中的神经元在多模态学习过程中表现出异质可塑性：一些神经元对于保留语言能力至关重要，而另一些神经元则更适应多模态知识。基于这一见解，我们提出了 NeuPAT（神经元感知可塑性分配调整），这是一种轻量级且与架构无关的框架，可在多模式指令调整期间分配神经元更新约束。 NeuPAT 使用小规模探测阶段来估计神经元适应模式，并选择性地保护语言敏感神经元，同时通过更多可塑神经元促进多模式适应。跨不同 LLM 系列的实验表明，NeuPAT 恢复了 11 个语言基准上的普通调优导致的 94.5% 的语言能力下降，同时保持了相当的多模态性能，为保留能力的多模态扩展提供了一种有效的方法。