HY-World 2.0：用于重建、生成和模拟 3D 世界的多模态世界模型

我们推出了 HY-World 2.0，这是一个多模式世界模型框架，它推进了我们之前的项目 HY-World 1.0。 HY-World 2.0 可容纳多种输入模式，包括文本提示、单视图图像、多视图图像和视频，并生成 3D 世界表示。通过文本或单视图图像输入，该模型执行世界生成，合成高保真、可导航的 3D 高斯泼溅 (3DGS) 场景。这是通过四阶段方法实现的：a) 使用 HY-Pano 2.0 生成全景，b) 使用 WorldNav 进行轨迹规划，c) 使用 WorldStereo 2.0 进行世界扩展，以及 d) 使用 WorldMirror 2.0 进行世界合成。具体来说，我们引入了关键创新来增强全景保真度，实现 3D 场景理解和规划，并升级 WorldStereo（我们基于关键帧的具有一致内存的视图生成模型）。我们还通过改进模型架构和学习策略，升级了用于通用 3D 预测的前馈模型 WorldMirror，从而能够从多视图图像或视频重建世界。此外，我们还推出了 WorldLens，这是一个高性能 3DGS 渲染平台，具有灵活的与引擎无关的架构、自动 IBL 照明、高效的碰撞检测和训练渲染协同设计，可在角色支持下实现 3D 世界的交互式探索。大量实验表明，HY-World 2.0 在开源方法的多个基准测试中实现了最先进的性能，提供的结果可与闭源模型 Marble 相媲美。我们发布所有模型权重、代码和技术细节，以促进可重复性并支持 3D 世界模型的进一步研究。