MegaFlow：零样本大位移光流

大位移光流的准确估计仍然是一个关键挑战。现有方法通常依赖于迭代局部搜索或/和特定领域的 微调，这严重限制了它们在大位移和零样本泛化场景中的性能。为了克服这个问题，我们引入了 MegaFlow，这是一种简单但功能强大的零样本大位移光流模型。 MegaFlow 不依赖于高度复杂的、特定于任务的架构设计，而是采用强大的预训练视觉先验来产生时间一致的运动场。特别是，我们利用预先训练的全局 Vision Transformer 特征将流量估计制定为全局匹配问题，这些特征自然捕获大位移。接下来是一些轻量级迭代细化，以进一步提高子像素精度。大量实验表明，MegaFlow 在多个光流基准测试中实现了最先进的零样本性能。此外，我们的模型还在远程点跟踪基准上提供了极具竞争力的零样本性能，展示了其强大的可转移性，并为可推广的运动估计提出了统一的范式。我们的项目页面位于：https://kristen-z.github.io/projects/megaflow。