技术实践
Instacart用Jetson端侧融合与云端GPU承载Caper智能购物车AI
概述
Instacart的Caper智能购物车需要在篮内实时识别顾客放入的商品并自动结算,对延迟与成本都有硬约束。端侧做法是以NVIDIA Jetson Orin NX承载实时传感器融合:三路篮内摄像头加重量与位置信号协同判断商品,单一视觉语言模型服务所有门店,门店级再训练极少;该方案已进入100多个城市,部署量同比增长3倍(基于Caper Cart GMV口径)。云端部分承载广告与推荐排序:以视觉语言模型编码器配合NVIDIA GPU与Dynamo框架,把广告和推荐工作负载从CPU迁移到GPU后,整页排序延迟降低65%、商品排序延迟降低40%、点击率提升5%以上。需要区分的是,延迟与点击率数字属于云端广告推荐系统,不是购物车端侧成效;销售提升来自A/B测试的1%量级增量。整体看,该案例展示了零售边缘AI的端云分工范式:端侧保实时感知、云端保推荐与广告算力,数字均为NVIDIA客户故事口径。