在思考之前，学会做出决定：主动路由以实现高效的视觉推理

大型多模态模型在复杂的视觉任务上实现了强大的推理，但其推理效率往往受到长思路的限制。一个有前途的解决方案是将小型草稿模型与大型目标模型配对，从而使用路由信号进行协作推理，该路由信号根据查询的困难自适应地将查询路由到草稿模型或目标模型，以实现最佳效率和准确性。然而，剩下的瓶颈是在多模式设置下建立可靠的查询难度信号。为语言模型设计的现有方法要么依赖事后标记概率（在多模式场景中达不到要求），要么依赖受监督的 微调（这是一种数据敏感策略）。两种范式仅在完整输出后才执行路由，并忽略目标模型是否能够真正解决路由实例。为了解决这个问题，我们提出了 PRP，这是一种主动路由范式，可以通过联合评估草稿模型和目标模型的能力来实现早期决策。我们的草稿评级学习 (DRL) 为草稿模型配备了内部置信度估计器，而联合评级学习 (JRL) 则预测目标模型处理给定查询的能力，从而优先分配其擅长的样本，而不是最难的样本。这些评级可实现细粒度的实例级主动路由，并在不影响整体性能的情况下大幅加速推理。跨多个多模态推理基准的广泛实验验证了我们的有效性和效率。