论文

SPHERE:通过大语言模型增强型空间偏好学习和人机循环强化学习实现自适应 VR 室内场景生成

SPHERE: Adaptive VR Indoor Scene Generation via LLM-Enhanced Spatial Preference Learning and Human-in-the-Loop RL

应用与实践上下文与知识记忆内容创作Agent记忆

摘要

虽然大语言模型 (LLM) 推进了 3D 室内场景合成,但当前的流程无法在会话中保留用户特定的偏好,从而使沉浸式创作成为一个重复且令人身体疲劳的过程。我们推出了 SPHERE,一种自适应 VR 生成框架,可将孤立的合成转变为持续的人类与人工智能共同创造。 SPHERE 从自然多模态交互(语音和控制器编辑)中提取持久的空间偏好。为了确保针对空间扭曲的几何弹性,它将这些原始编辑抽象为对局部功能和全局拓扑上下文进行建模的分层约束。此外,人机循环强化学习机制会根据用户最终编辑的场景动态更新检索策略。混合设计用户研究 ($N=42$) 和离线消融表明,SPHERE 显着减少了校正编辑和物理需求,防止对浅层对象级特征的偏见,从而产生几何弹性、轮廓对齐的布局。最终,SPHERE 展示了如何捕获演示的空间逻辑来实现受控的空间适应,为沉浸式创作建立可靠、受管控的人机协作框架。项目页面和源代码可在以下位置获取:https://github.com/hyeonmin11/SPHERE