D3D-GEN：社交机器人的机器人感知、基于领域的交互式 3D 世界生成

用于社交导航的嵌入式人工智能的训练和验证很大程度上取决于现实的模拟环境，但当前的许多方法未能在现实性和可模拟性之间找到平衡。我们提出了 D3D-GEN，这是一种新颖的世界生成系统，它将域代理与基于该域的检索增强生成（RAG）管道相结合。我们的系统使用户能够通过自动收集领域知识以及合成真实的平面图和对象放置来快速生成基于领域的、完全交互式的 3D 世界，而不依赖于任何固定的 3D 模型数据库。在给出域描述提示的情况下，研究代理收集可公开访问的特定于域的数据并构建持久的域数据库。使用该数据库，我们的 RAG 管道通过动态查询用户提供的语义数据库来生成合理的平面图和对象放置，该数据库可以轻松扩展或修改。输出是一个完全交互式的 3D 世界，可由流行的模拟器 Isaac Sim 和 Gazebo 加载。通过我们的方法，我们为几个常见领域（室内住宅、医院、办公室）构建了数据库，并为每个领域生成了数十个不同的、合理的模拟环境。我们为 D3D-GEN 提供了一个本地 Web 前端，可促进机器人模拟的快速、交互式世界生成。