论文

展望未来,一步一个脚印

Envisioning the Future, One Step at a Time

应用与实践内容创作

摘要

准确预测复杂多样的场景将如何演变需要能够表示不确定性、沿着扩展的交互链进行模拟并有效地探索许多可能的未来的模型。然而,大多数现有方法依赖于密集视频或潜在空间预测,在密集外观上消耗大量容量,而不是场景中点的底层稀疏轨迹。这使得对未来假设的大规模探索成本高昂,并且在长视野、多模态运动必不可少时限制了性能。我们通过将开放集未来场景动态的预测公式化为稀疏点轨迹的逐步推理来解决这个问题。我们的自回归扩散模型通过短暂的、局部可预测的转变来推进这些轨迹,明确地模拟不确定性随时间的增长。这种以动力学为中心的表示可以从单个图像快速生成数千种不同的未来轨迹,可选地由运动的初始约束引导,同时保持物理合理性和远程一致性。我们进一步引入了 OWM,一种基于各种野外视频的开放集运动预测的基准,以评估现实世界不确定性下预测轨迹分布的准确性和可变性。我们的方法在预测精度方面匹配或超越密集模拟器,同时实现更高数量级的采样速度,使开放集未来预测既可扩展又实用。项目页面:http://compvis.github.io/myriad。