LIVIN：住宅数字孪生的空间和实体智能基准测试

现实的家庭模拟不仅必须捕捉不同的环境，还要捕捉影响机器人运动和交互的居住物体的排列和空间限制。现有的资源通常会在规模、现实世界的对应性和交互准备度之间进行权衡，从而在忠实、交互式地复制真实家庭的实际布置方式方面留下了空白。为此，我们推出了 LIVIN，这是一个基于 30 个不同居住家庭的数字孪生的空间和实体智能基准。这些复制品保留了观察到的房间布局、家具配置和日常用品。为了构建它们，我们设计了一个人机交互工作流程，包括实例识别、架构重建以及对象生成和放置，并由人类在每个阶段根据源观察结果审查和纠正中间结果。我们评估了 LIVIN 中的四项任务：3D 检测、3D 重建、导航和局部操纵。我们的评估表明，当前的方法仍然受到密集的物体排列、遮挡、有限的自由空间和 现实居住家庭中发现的受限互动区域。我们希望 LIVIN 能够帮助推进现实家庭中的嵌入式人工智能，从空间理解到机器人交互，并最终将嵌入式智能带入日常家庭环境。