论文

稳定:通过语义-物理双系统生成仿真就绪的桌面布局

STABLE: Simulation-Ready Tabletop Layout Generation via a Semantics-Physics Dual System

应用与实践内容创作

摘要

从任务指令生成模拟就绪的桌面场景是嵌入式人工智能领域一个有趣且有前途的研究方向。然而,现有的任务到场景生成方法完全依赖于 大语言模型 (LLM) 来预测场景布局,由于 LLM 在 3D 空间推理中的固有局限性,不可避免地会产生对象碰撞或浮动。在本文中,我们提出了 STABLE,这是一个专门为模拟桌面场景生成而定制的语义-物理双系统。 STABLE 由两个互补模块组成:(i) 语义推理器,一个经过微调的 LLM,在结构化桌面场景数据集上进行训练,以根据输入任务指令生成粗略布局;(ii) 物理校正器,一种基于物理感知的基于流的去噪模型,可输出姿势更新以细化布局,从而确保场景的物理合理性,同时保持与任务指令的语义对齐。 STABLE 采用渐进式生成范例:通过在语义推理器和物理校正器之间交替,它逐渐将场景从任务关键对象扩展到背景对象。实验表明,STABLE成功生成了严格符合任务指令的模拟就绪桌面场景,并比现有技术显着增强了场景的物理有效性。