论文
AnchorWorld:具有基于视图的进化定制的体现自我中心的世界模拟
AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization
摘要
尽管是一个关键前沿,但交互式世界建模在实际场景所需的多功能可控性方面仍未得到充分探索。为了弥补这一差距,我们提出了 AnchorWorld,这是一个通过增强交互完整性和灵活的世界定制机制来推进以自我为中心的模拟的框架。首先,我们利用 3D 人体运动作为主要交互方式。为了补充以自我为中心的视图中视野外或被截断的身体部位,我们引入了辅助训练监督,其中包含与代理的第一人称感觉中枢脱钩的外生观点。它允许模型观察代理相对于环境的全身定位,促进人类与世界交互的更强大的空间基础。此外,我们提出了一种简单而有效的机制来定制自我进化的世界。这是通过在统一的世界坐标系中定义锚视图,并结合指示局部场景动态演变的文本描述来实现的。实验结果表明,AnchorWorld 显着优于最先进的基线,而消融研究验证了我们关键设计的有效性。值得注意的是,我们的定制方案表现出有希望的时空几何一致性,并严格遵守规定的进化动力学。