SparseCtrl-HOI：人与物体交互视频生成的稀疏时间控制

人与物体交互（HOI）视频生成旨在合成人类操作不同物体的逼真视频，为人工智能驱动的实时流媒体电子商务提供了一条有前途的途径。该领域的主要障碍在于精细物理动力学建模的复杂性以及人手和物体之间复杂的时空协调。解决这个问题的现有方法通常依赖于密集的时间引导，例如逐帧的手部物体姿势序列，以严格控制交互过程。然而，如此密集的指导会带来高昂的注释成本并影响运动合成的多样性。为了克服这些限制，我们引入了 SparseCtrl-HOI，这是一种用于 HOI 视频生成的新型稀疏时​​间控制框架。它只需要几个关键帧来捕获指定时间戳的交互状态。具体来说，我们采用时间控制旋转位置嵌入（TiRoPE）机制来临时锚定这些关键帧，同时保持其空间完整性。随后，为了控制跨中间帧的动态，我们提出了一个运动先验注入模块，该模块利用多模态 大语言模型 (MLLM) 来提取高级运动先验。这使得模型能够产生逻辑上和物理上合理的转变。此外，我们构建了 SparseHOI-5K，这是一个高质量且注释丰富的数据集，用于具有稀疏时间控制的 HOI 视频生成。综合评估证实，我们的方法大大减少了注释开销，同时合成了优质的直播电子商务视频。我们的代码和数据集均可在 https://mpi-lab.github.io/SparseCtrl-HOI 上公开获取。