ReConText3D：基于重放的连续文本到 3D 生成

持续学习使模型能够随着时间的推移获取新知识，同时保留以前学到的功能。然而，其在文本到 3D 生成中的应用仍未得到探索。我们推出了 ReConText3D，这是第一个连续文本到 3D 生成的框架。我们首先证明现有的文本转 3D 模型在增量训练下会遭受灾难性遗忘。 ReConText3D 使生成模型能够从文本描述中逐步学习新的 3D 类别，同时保留合成以前见过的资产的能力。我们的方法通过文本嵌入 k 中心选择构建了一个紧凑且多样化的重播记忆，允许在不修改底层架构的情况下对先验知识进行代表性演练。为了系统地评估持续的文本到 3D 学习，我们引入了 Toys4K-CL，这是一个源自 Toys4K 数据集的基准，可提供平衡且语义多样化的类增量分割。 Toys4K-CL 基准的大量实验表明，ReConText3D 始终优于不同生成主干的所有基线，保持了新旧类别的高质量生成。据我们所知，这项工作为文本到 3D 生成建立了第一个持续学习框架和基准，为增量 3D 生成建模开辟了新方向。项目页面位于：https://mauk95.github.io/ReConText3D/。