技术实践

小红书与vivo以3DGS构建跨平台图片链路

应用与实践模型推理推理加速内容创作视觉感知与空间理解

概述

小红书与 vivo 联合打通从相册拍摄到社交发布与消费的完整 3D 内容链路:生成侧由 vivo 相册算法把 2D 图像转化为具备空间结构信息的 3D 产物并完成压缩编码,采用 3D Gaussian Splatting 显式场景表示(大量带位置、尺度、旋转、透明度与球谐颜色系数的三维高斯基元,渲染时投影排序并 alpha 混合),并通过几何属性压缩(量化、预测编码、分块编码)、外观属性压缩(低比特量化、降阶表示、码本聚类)与结构剪枝/LOD 层级表示把原始产物压到移动端可分发体积。 双方共同设计面向移动社交场景的新型 3D 内容格式,vivo 针对图文分发专项调整编码方案、小红书同步改造解码与渲染框架,共同把原始产物压缩至 4MB 左右。分发侧由媒体播控综合机型画像、设备黑白名单、厂商适配与创作者主/客态决定是否下发 3D 资产,不满足条件的设备自动回退 2D,并用多厂商 CDN 边缘预热与在离线协同(离线预计算存量、在线处理增量)提速首帧。 消费侧新建跨平台 3D 播放器内核(Android 引入 Vulkan,以 ASurfaceControl + AHardwareBuffer 直连 SurfaceFlinger 绕过 EGL/GLES,iOS 在数据解码与点云处理层与 Android 共用架构、渲染层单独优化),并做协方差计算化简、早期裁剪、硬件双线性合成、多段并行 Draco 解码与一次性合并、nth_element 替代完整排序、渲染 Core 热替换、渲染精度分档与预加载等优化。 量化收益:高端设备可达 60 FPS,中端 Android 从 30 FPS 提升至 45 FPS、单帧耗时从 33.3ms 降至 22.2ms。模型加载耗时从约 1s 降至 300ms(约 3.3 倍)。3DGS 场景内存增量从约 200MB 降至 100MB(下降 50%)。安卓端加载耗时降幅 60%。 Shader Cache + NEON SIMD 联合上线后中高端机型首帧耗时降低 20%~30%。压测体系提升安卓机型覆盖率至 85+%、iOS 机型覆盖率 90+%。上线后创作者 3D 图文供给快速增长,停留与互动明显提升,品牌官方号与达人开始在小红书分享 3D 图文。