论文

超越放置和衔接:用于具体交互的使用驱动的代码场景

Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction

智能体系统Agent 架构与控制循环

摘要

室内场景合成为具体人工智能、机器人操作和基于模拟的策略学习提供了必要的环境。最近基于代码的场景生成方法产生了可编辑和可扩展的环境,但它们仍然专注于视觉构造和对象级清晰度,而场景的功能使用很大程度上未建模。为了解决这个问题,我们提出了 RoomWright,一个代理使用驱动的框架,用于生成完全表示为具体交互代码的 3D 场景。 RoomWright 执行使用驱动的对象推理,将每个锚点视为任务中心并承认任务所需的对象及其可供性。代码代理通过将每个交互编译为更新结构化对象状态的触发器、条件、效果规则,捕获对象之间的因果依赖关系,进一步实现多部分交互。此外,由于操作方向不明确且难以从像素中恢复,RoomWright 通过注释通知的使用引导方向缓解了这一问题。大量的实验证明了我们方法的有效性。生成的场景是可执行、可编辑且可模拟的,为具体人工智能和政策学习提供交互环境。