通过流力控制生成流视频

我们引入了 StreamForce，这是一种流视频生成框架，可通过连续的力输入实现符合物理规律的控制。与之前针对不同力类型训练单独模型、假设固定力或依赖非因果处理的视频模型不同，StreamForce 是一种因果且统一的模型，可以对局部和全局、时变力做出即时、连贯的响应。为了实现这一目标，我们设计了统一的力表示作为控制信号，并开发了用于力可控视频生成的 蒸馏 管道。我们的模型将自回归效率与力响应性相结合，保持稳定的光度和动态真实感。 StreamForce 在单个 GPU 上的运行速度高达 16.6 FPS，在力依从性和运动真实感方面实现了最先进的性能。项目网站：https://neu-vi.github.io/StreamForce/