论文
Humanoid-OmniOcc:用于嵌入式 AI 的基于立体的全视图占用数据集
Humanoid-OmniOcc: Stereo-Based Full-View Occupancy Dataset for Embodied AI
摘要
体素级粒度的占用预测对于复杂环境中的安全机器人导航和交互至关重要。然而,现有的占用数据集主要是为自动驾驶而设计的,具有以车辆为中心的偏差——前向摄像头、远场几何和静态道路先验——限制了它们对具体人形感知的适用性。我们推出了 Humanoid-OmniOcc,这是一个专为人形机器人量身定制的大规模全景立体占用数据集。该数据集包含 15 个不同的模拟室内场景和 5 个真实环境,产生超过 155K 个具有广泛场景和风格多样性的样本。重要的是,该数据集是围绕 Real2Sim2Real 闭环范例设计的:真实传感器规格驱动物理上精确的模拟,模拟产生大规模带注释的训练数据,并且在模拟中训练的模型直接在现实世界捕获上进行评估,从而实现模拟到真实管道的迭代细化。我们进一步提出了 \textbf{H}umanoid \textbf{S}urround \textbf{S}tereo-guided \textbf{Occ}upancy 模型(Humanoid-OmniOcc),该模型利用强大的深度先验来实现精确的 2D 到 3D 提升。大量实验表明,Humanoid-OmniOcc 的性能始终优于单目基线,并且可以很好地推广到未见过的模拟测试场景和真实环境,从而验证了 Real2Sim2Real 设计的有效性。代码和数据将在接受后在 https://d-robotics-ai-lab.github.io/ humanoid-omniocc 上提供。