WorldAct：将整体 3D 世界激活为交互式的以对象为中心的场景

最近基于生成场景合成的 3D 世界建模系统（例如 Marble）可以创建连贯且可探索的 3D 环境，但其输出通常是静态整体资产，可编辑性和物理交互性有限。这限制了它们在沉浸式内容创建和具体模拟中的使用，其中生成的世界必须被主动修改和操纵。为了应对这一挑战，我们推出了 WorldAct，这是一个将静态生成的 3D 世界转换为可编辑且可交互的场景的框架。 WorldAct 使用多模态代理来指导场景分解、识别可操作对象、重建几何对齐的对象级网格以进行交互，并通过 3D 修复恢复残留背景。生成的场景支持对象级编辑、碰撞感知操作和具体任务执行，同时保持全局场景连贯性。实验表明，WorldAct 能够实现比原始生成场景更丰富的交互场景，这为实现可编辑和交互式 3D 世界模型提供了一条实用途径。