技术实践
得物以统一模型网关管理接入与跨厂商容灾
概述
得物自建大模型网关,作为连接业务与 AI 基础设施的统一端点:建设「模型市场」覆盖模型纳管、评测对比(文本生成与图像理解/生成,业务问题一键投递多模型比拼)、一站式接入与运营推荐。对外提供 OpenAI like 风格统一访问 API 与模型调度路由,按配置策略在厂商间做模型级分钟级容灾。配套按 Key/项目维度的 TPM 容量管理与 Token 级限流、基于 Flink 实时计算与 Kafka 事件订阅的分钟级调用/用量/成本观测(覆盖调用量、失败率、RT、TPM、RPM)与 3 分钟内飞书告警,以及 API Key 申请工单化、预算与黑名单等生命周期管理。 目标数据显示:已纳管各云商与自建模型 140 个,实现内外部模型 100% 纳管。单模型平均上架时间从 1~2 天降到 10 分钟内(接入效率提升 97%+),模型试用与效果评估从 1 天降到 5 分钟以内(效率提升 98%+)。