Code-as-Room：通过代理代码合成从自上而下的视图图像生成 3D 房间

设计逼真且实用的 3D 室内房间对于各种应用至关重要，包括室内设计、虚拟现实、游戏和嵌入式 AI。虽然最近基于 MLLM 的方法显示出从文本描述或参考图像合成 3D 房间的巨大潜力，但基于文本的方法很难捕获精确的空间信息，并且现有的图像条件代理在负责从自上而下的视图生成整体房间时会遇到不稳定和无限循环的问题。为了解决这些限制，我们提出了 Code-as-Room，这是一个基于 MLLM 的代理框架，配备了结构化执行工具，它代表带有 Blender 代码的 3D 房间。给定自上而下的房间图像，该框架解析参考图像以提取场景元素及其空间关系，并在原则性的多级管道中合成几何、材质和照明的可执行 Blender 代码。自始至终维护跨阶段内存模块，以减轻现有基于代理的框架固有的上下文遗忘。我们进一步引入了基于代码的 3D 房间合成的专用基准，涵盖各种评估协议。根据我们的基准，与现有的基于代理的方法进行全面比较，以验证我们提出的执行工具的有效性。