技术实践
得物以模型网关管理调用链路与Token成本
概述
得物围绕「源头管控、成本感知、模型调度、厂商折扣和成本监控」建设大模型成本管控闭环,打通预算申请、模型选型、接入调用、运行观测到成本结算的全链路。规模数据:得物 12 月调用大模型的 Token 消耗量已达数千亿规模,是 1 月用量的 20.63 倍。3、4 季度 Token 用量分别较前一季度增长 2.52 倍和 2.16 倍。 效果数据:在用量持续翻倍的情况下,Q3、Q4 每百万 Token 成本分别降低 51.52% 和 48.37%(正文另一处表述为 50%+ 与 45%+),两季合计降本达数百万元。降本手段包括依托模型调度把请求优先分配到性价比更高的模型、统一 API 建设与降本方法论推广。正在建设 Key/模型/厂商/项目维度成本大盘、各厂商各类别模型均价大盘、用量与成本每周主动推送及成本预警告警。