FlowMaps：使用流匹配对长期多模式对象动态进行建模

对 3D 场景的联合空间和时间理解是部署在日常家庭环境中的机器人的关键要求。这些代理不仅必须理解和导航空间布局，还必须推理这些空间如何随着时间的推移而演变。特别是，人类每天与物体互动，导致它们在整个环境中改变位置，并使机器人很难将当前观察到的物体与之前看到的物体可靠地联系起来。然而，这些交互不是随机的：人类的习惯和惯例会导致对象位置的时空一致模式，机器人代理可以学习这些模式，然后利用这些模式来执行导航等下游任务。为此，我们引入了 FlowMaps，这是一种潜在的流匹配模型，用于估计连续 3D 空间中动态对象的未来位置的多模态分布。通过学习对象之间的隐式依赖关系及其时间演变，FlowMaps 可以预测以过去的人类交互为条件的对象位置的可能变化，同时支持共享相似对象例程的先前未见过的环境的泛化。为了演示此方法的实用性，我们在模拟和现实环境中的下游动态对象导航任务中部署 FlowMap。在 600 多集中，FlowMaps 的性能优于最先进的方法，表明通过连续、多模态时空分布对对象动态进行建模可以改善不断变化的家庭环境中的机器人搜索和导航。代码和其他材料可在 https://fra-tsuna.github.io/flowmaps/ 获取。