京东云客户将78节点自有推理系统改造为云原生架构

京东云客户的自有AI推理系统在稳定性、性能与资源利用率上遇到瓶颈，京东云用其云原生AI推理框架实施改造——该框架与京东云自研实践（另条收录）为同一系统，本条是其对外客户案例，聚焦交付与迁移过程而非框架能力本身。改造对客户原78台节点分步推进，不到一个月内切流比率从2%提升到40%，完成推理系统的云原生重构。方案组合包括：智能流量调度（长短文分桶、KV缓存复用、跨交换机硬件拓扑亲和调度）、随流量波动自动弹性扩缩容、多副本部署加故障自愈的高可用保障，以及vLLM、SGLang等主流推理引擎的无感接入。披露结果（京东云转述的客户收益口径）：切换后GPU吞吐提升74%；需要限流的请求减少82%，高峰时段更多请求得到及时响应；客户称资源性价比与关键高峰期响应能力明显改善。效果数字来自京东云转述的客户案例，未附独立评测。