论文
SCOPE-Router:用于面向执行的任务的成本感知开放集 VLM 路由
SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks
摘要
模型路由旨在为每个查询从候选池中选择最合适的模型,平衡质量和成本。现有的VLM路由研究仅限于传统的VQA评估,缺乏针对开放集场景的系统校准优化,并且采用通过softmax归一化稀释多正信号的训练目标而不考虑成本。我们通过三个贡献解决了这些限制:(1)VLM-ExecRouterBench,第一个面向执行的 VLM 路由基准,涵盖代码、代理和搜索领域,具有 11 个候选模型,定价跨越近两个数量级; (2)SCOPE-Router,一种双塔路由器,可将查询与通过混合校准(随机/诊断/多样性采样)构建的模型行为配置文件相匹配,使新模型无需重新训练即可加入路由; (3)CRM+RCCR,一种与架构无关的成本感知目标,通过每对独立评分将成本偏好编码为连续相关性目标,消除多重正稀释,同时规范具有相似路由偏好的查询,使其在路由空间中更接近。根据经验,SCOPE-Router 在所有三个基准测试中都取得了最好的排名分数,在 OOD 设置下超过亚军 1.84 分,在双重 OOD 开放集评估下超过亚军 6.75 分。当应用于四个不同的路由器时,CRM+RCCR 将排名分数提高了 1.25--6.21 分。