论文

交通管理的基础模型部署组合成本优化

Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management

AI 基础设施模型部署

摘要

包括大语言模型(LLM)与视觉语言模型(VLM)在内的基础模型日益用于交通管理中心(TMC)任务:异常检测、事件报告与出行者信息。跨TMC功能部署多个此类模型引出组合问题:哪个模型服务哪个功能、以哪种部署模式、在什么共享硬件预算下?我们把该问题形式化为基础模型部署组合(FMDP)问题:一个混合整数规划——在共享GPU容量上、以逐功能的质量、延迟与安全约束最小化总拥有成本(TCO)。我们经从0-1背包问题归约证明该问题NP难,并提出多项式时间贪婪启发式。在一个含五个TMC功能与19个候选(模型、模式)对的示意案例研究中:FMDP识别出一个月成本34美元的混合组合(比最便宜的可行全闭源API基线低97%)——把四个功能路由到开源API,把唯一一个没有开源模型达到质量下限的功能路由到闭源API。盈亏平衡分析显示:本地GPU投资只有在约每小时309次视觉查询以上、或API价格翻倍时才合理。