火山引擎用3D模型支撑春晚数字分身渲染

火山引擎空间视频技术以「4D 资产生成 + 实时舞台集成」管道支撑春晚数字分身：演员在环绕式采集棚由 70 台工业级高分辨率相机球面分布、高帧率同步采集多视角画面，上传云端后经自研 4D 高斯泼溅（4DGS）重建为可实时渲染、可任意视角观看的高保真 4D 数字资产，再导入 Unreal Engine / Unity。 实时性方面，虚拟摄像机实时接收导播台机位参数实现渲染视角与播出视角毫秒级对齐。舞台灯光采用 DMX512 协议，团队搭建实时转译层把每一路 DMX 信号映射为引擎中的光源参数（颜色、强度、位置、光束角）。本次首次引入豆包大模型能力解决两大性能困局：一是豆包 3D 模型为演员每帧预生成不可见的极简几何外壳仅用于阴影计算，阴影质量几乎无损而计算量降低 70% 以上，使十余个高精度数字人同台实时渲染成为可能。 二是引入豆包 DA3（Depth Anything v3）从单帧稳定推断深度并计算法线作为先验约束参与光照求解，消除近景特写下的光影跳变。现场反馈为分身具备随镜头透视变化与实时光影响应，观众描述为「舞台上好像站着好几对双胞胎」。