技术实践

京东按设备能力分层下发AR模型并动态降级

模型优化应用与实践量化蒸馏端侧模型视觉感知与空间理解

概述

针对移动端 AI 功能带来的发热、耗电、卡顿问题,团队在 AR 手势交互上按设备能力分层:手势识别模型由原始 60MB/精度94% 压缩为量化版 15MB(92%)、剪枝版 8MB(89%)、蒸馏 Lite 版 3MB(85%),对应旗舰/中高端/全量设备下发(正文给出设备覆盖率 20%/70%/85%/100%),以牺牲 9% 精度换取 100% 设备覆盖率。 交互层分三层:L1 传统交互(屏幕点击+注视高亮,100% 用户保底)、L2 ARKit 手势(iPhone XS+ 自动启用,覆盖 60-70% 用户)、L3 自定义 AI(iPhone 14 Pro+,覆盖 10-20% 用户)。运行中每秒检测动态降级:帧率<50fps 降一级、温度>45度降一级、电量<15% 强制降到 L1,失败时自动降级到传统方案而非弹窗报错。 正文陈述结果为 100% 用户可用、60-70% 用户可体验手势交互、卡顿投诉下降、帧率更稳定。同时给出端云协同取舍:手势识别、AR 追踪、实时渲染放端侧,场景语义理解与复杂物体识别放云端。