一石三鸟：多 VLM 选择、适应和集成的自适应最优传输

视觉语言模型（VLM）可以从语义类描述中进行视觉识别，这使得它们在目标注释稀缺或不可用时具有吸引力。然而，大多数部署管道首先选择单个 VLM，然后使该模型适应未标记的目标集。这种单主干范例隐藏了一个关键假设：所选的 VLM 已经与目标域兼容。在实际的跨域部署中，多个通用和领域专用的 VLM 可能是合理的，但没有实例级目标标签可用于识别可靠的 VLM。因此，部署需要一个用于模型选择、目标适应和预测集成的耦合解决方案。我们从系统级多VLM的角度重新审视这个问题。我们的中心观察是，上述三个决策依赖于同一个潜在对象：目标集中值得信赖的样本类结构。不同的 VLM 可能会编码不同的转移偏差并产生相互矛盾的预测，但它们的输出仍然可以为估计这种结构提供补充证据。我们提出了“一石三鸟”，一种基于自适应最优传输的 无需训练 框架。给定一组冻结的候选 VLM，OSTB 会在不更新 VLM 参数的情况下估计一致的样本到类传输计划。然后将学习到的传输结构重用于所有部署目标：通过对共识计划引起的组合语义和视觉可靠性进行排名来执行模型选择；目标适应是通过拟合传输条件视觉分类器获得的；集成是通过可靠性感知的概率集成来实现的。对自然图像、遥感和医学病理学基准的大量实验表明，OSTB 提高了异构候选池下的模型排名、适应稳定性和集成鲁棒性。