Hyper-LLaVA：用于多模态连续指令调优的双曲不确定性感知模态平衡路由

多模态连续指令调优（MCIT）旨在利用增量积累的知识来处理不同任务的多模态输入，其中参数路由起着重要作用。最先进的方法依赖于样本到任务中心的相似性以及路由过程中同等权重的跨模态融合。然而，此类解决方案面临两个基本缺陷：（1）在每种模态中，样本到任务中心距离对于路由来说不是最佳的，因为丰富的任务内多样性信息没有得到充分利用。 （2）不同的模态在任务之间表现出不同的可靠性，其中任务间模糊的模态很容易误导路由结果。为了解决这些问题，我们提出了双曲不确定性感知模态平衡路由（Hyper-LLaVA），以基于跨模态任务特征不确定性建模来提高参数路由能力。具体来说，为了改进模态内任务匹配，Hyper-LLaVA 访问双曲空间中的样本到任务分布相似性。此外，为了减轻不可靠模态带来的退化，Hyper-LLaVA量化了每个模态内的任务匹配模糊性，以实现跨模态任务匹配之间的自适应平衡。基于互补的模态内和模态间任务匹配增强，我们的 Hyper-LLaVA 大幅优于最先进的方法。我们的源代码位于 https://github.com/zhoujiahuan1991/ICML2026-Hyper-LLaVA