技术实践

小红书用Agent生成3D图片并按机型灰度下发

应用与实践智能体系统Agent 架构与控制循环内容创作视觉感知与空间理解

概述

内容生产侧复用小红书既有图文发布和 AI P 图能力:创作者既可从 vivo 相册携带已生成、压缩的 3D 资产,也可由站内内容理解识别 3D 意图,通过 Agent 异步生成 3D 图资产,并保留 2D 图用于展示和兼容回退。客户端上传 3D 图后,发布网关校验素材、转换文件标识,将 3D 资产写入图片元数据并为笔记增加 3D 标签,再交由笔记中台持久化,发布及再编辑全程透传,使 3D 内容以接近普通图文的门槛完成生产。 编辑器侧把 3D 渲染模块作为新图层接入既有纹理合成管线(共享 FBO、独立渲染状态与显存配额、退出即回收、Gaussian 数据打包为 RGBA16F 纹理并用 Instanced Rendering 批量光栅化),使滤镜、贴纸、文字可直接作用于 3D 预览画面。媒体播控根据用户设备的机型能力、系统版本和网络条件决定是否下发 3D 资产,不满足条件的设备自动回退为 2D 展示,播控同时是灰度放量与快速止损的核心控制点。 消费交互侧基于陀螺仪与加速度计建立设备姿态到虚拟相机视角的映射,用横滚/俯仰双向弹簧阻尼模型、跨设备灵敏度归一化、视差与景深联动渲染、边界保护与自动回弹实现“转动手机画面就动”的空间交互。