MASS：运动对齐选择性扫描，用于改进基于流的视频帧插值

视频帧插值 (VFI) 仍然是一项具有挑战性的任务，特别是在处理大型非线性运动和复杂遮挡时。虽然基于流的方法很流行，但它们经常与不明确的对应关系作斗争。最近基于选择性状态空间模型 (SSM) 的 VFI 方法仍然受到与物理运动不一致的基于静态网格的扫描的限制。在本文中，我们提出了运动对齐选择性扫描（MASS），这是一种新颖的框架，它将特征扫描从静态空间网格重新表述为动态运动轨迹。 MASS 沿着每个像素的流引导轨迹构建特征序列，并将其与 SSM 聚合。具体来说，我们引入了可学习的非线性路径积分，通过残余速度更新来近似复杂的弯曲轨迹，以及速度感知的 SSM，可根据运动幅度动态调整采样预算和步长。这种自适应策略将更密集的采样分配给快速运动区域，同时保持静态区域的效率。此外，聚合状态指导细化模块以端到端的方式纠正中间流和掩码。大量实验表明，MASS 在标准基准上实现了极具竞争力的整体性能，特别是在具有大位移和复杂动态的挑战性场景中，取得了最先进的结果。