论文

免训练路由:经可靠性门控的可控比例LLM卸载

Routing Without Training: Controllable-Ratio LLM Offloading via Reliability Gating

AI 基础设施模型网关

摘要

本地—云协作是资源受限下部署大语言模型的实用方式,但现有方法常依赖训练过的路由器或协作感知微调,把路由行为绑死在特定工作区间。本工作证明这种训练可能不必要:本地模型自身在采样响应间的推理时一致性,已为决定何时信任本地执行、何时卸载给更强云模型提供强信号。我们提出CARGO,一个免训练路由框架:经提示多样化采样估计该一致性,应用贝叶斯早停实现样本高效的不确定性控制,并经轻量的部署时校准支持任意目标协作比例。跨多样推理与问答任务、多个本地LLM家族与规模、以及预训练与微调的本地模型,CARGO持续优于其他免训练基线,并在多个设定超过监督学习的路由器。结果表明有效且自适应的本地—云协作可以直接从本地模型的内在响应行为中涌现,无需额外的训练路由器。

免训练路由:经可靠性门控的可控比例LLM卸载:论文配图
图 1:CARGO 概览。本地模型估计即时变化采样下的一致性,然后应用贝叶斯提前停止来决定是接受本地响应还是卸载到云端。