具身场景重排策划

本文介绍了体现场景重排规划（ESRP），这是一项新颖的任务，要求体现代理在 3D 场景中重新排列家具，以仅使用以自我为中心的观察和自上而下的目标布局来匹配目标配置。与之前的重排任务不同，ESRP 排除了全局状态访问并引入了相互对象遮挡，反映了现实世界机器人部署的实际限制。这些因素使得将部分以自我为中心的观察与全球目标布局相结合对于长期规划来说尤其具有挑战性。为了促进研究，我们推出了 ESRP-Bench，这是一个基于 OmniGibson 构建的综合基准测试，具有超过 5,400 个场景对和 8,200 个对象。我们定义了三个多级指标来评估重排质量，并提供四个基线：分层任务和运动规划方法、基于视觉语言模型的方法和两种基于学习的方法（IL 和 RL）。实验结果表明，当前的方法很难有效地完成任务，这凸显了 ESRP 对于场景理解和长期任务规划中的实体代理来说是一个具有挑战性的前沿领域。这项工作是在现实场景中部署智能代理的垫脚石。项目页面：https://pie-lab.cn/ESRP/。