Salient Knowledge Pathways：面向高效知识密集型多模态问答的稀疏跨模态路由

知识密集型多模态问答（KI-MMQA）处于三种高开销要素的交汇处：长视觉token序列、对大型外部语料的稠密检索，以及完整的跨模态融合。现有系统对每个查询统一支付全部三项成本，尽管视觉内容与检索到的知识中只有一小部分与任一给定问题真正相关。我们提出SKIP（Salient Knowledge-Injected Pathways），一种统一的推理架构，它沿由问题、图像与难度估计联合条件化的稀疏通路路由计算。SKIP结合了问题引导的视觉token剪枝、区域条件化稀疏检索、二部稀疏交叉注意力与推测性知识验证，并配有自适应预算控制器，按预测的问题难度成比例分配计算量。我们推导了信息瓶颈界，表明在现实的问题-图像互信息假设下，最优视觉稀疏率按 $O(1/\sqrt{N})$ 缩放，且保有精度保证。在五个KI-MMQA基准（OK-VQA、A-OKVQA、InfoSeek、Encyclopedic-VQA与ViQuAE）上，SKIP匹配或超越强稠密基线的精度，同时FLOPs减少 $3.4$–$6.8\times$，端到端延迟降低 $2.7\times$。代码见：https://pmlrbd.github.io/skip/