Go-with-the-Track：视频合成和带有点跟踪的运动控制

电影制作需要精确的运动控制和参考图像合成——现有方法单独处理的功能。点跟踪条件图像到视频模型将内容插入限制在第一帧，而参考视频模型缺乏对参考内容如何跨帧集成的细粒度时空控制。我们提出了 Go-with-the-Track，它通过联合调节多个参考图像和参考锚定点轨迹来统一这两种功能 - 扩展传统的点轨迹以明确地建立生成的帧和参考图像之间的对应关系，从而实现整个视频的精确合成和运动控制。为了实现这一目标，我们引入了空间感知的点轨迹嵌入，它使用坐标级 MLP 和时间池化来编码点轨迹坐标的完整序列。这种表示捕获每个点轨迹的空间特征（充当唯一标识符），而嵌入相似性与空间接近度直接相关，从而增强模型区分和关联点轨迹的能力。我们通过轻量级适配器将这些点轨迹嵌入注入到视频扩散 Transformer 中，解决了像素到补丁分辨率不匹配的问题，同时避免了朴素点轨迹子采样中固有的大量运动细节损失。我们使用混合训练策略在动态、静态和合成场景视频数据集上联合训练，以提高运动可控性。实验表明，Go-with-the-Track 在单个模型中实现了卓越的运动和参考控制，并实现了新功能：具有点跟踪驱动合成的多参考条件视频生成，以及静态和动态场景的摄像机控制。项目页面：https://eyeline-labs.github.io/Go-with-the-Track/