Dream-Cubed：通过数十亿个立方体的训练实现 Minecraft 中的可控生成模型

我们介绍 Dream-Cubed，它是 Minecraft 世界体素分辨率的大型数据集，以及一系列使用立方体作为有效生成交互式 3D 环境的强大组合单元的模型。 Dream-Cubed 由数百亿个词元组成，这些词元来自程序生物群落地形和高质量人类创作地图的精心组合。我们使用该数据集对用于体素生成的 3D 扩散模型进行首次大规模研究，分析离散和连续扩散公式、数据组成和架构设计选择。我们的模型直接在块空间中运行，实现高效且基于语义的生成，同时支持交互式用户工作流程，例如用户创作的块的修复和修复。为了定量评估我们的模型，我们采用 FID 指标来评估真实世界渲染和生成世界渲染之间的语义差异，并通过人类偏好研究验证生成质量。我们发布了完整的数据集、代码和所有预训练模型，我们希望这些模型能够为结构化、交互式 3D 环境的高效生成建模的未来研究奠定基础。