重新平衡参考系优势以改善图像到视频模型中的运动

与文本到视频模型相比，图像到视频模型通常生成的视频过于静态。虽然现有方法通过削弱或修改图像调节信号来缓解这个问题，但它们通常需要额外的训练或牺牲参考图像的保真度。在这项工作中，我们将参考系优势确定为运动抑制背后的关键机制。我们观察到 I2V 模型中的非参考帧将过多的自注意力分配给参考帧关键词元，导致参考信息在时间上过度传播并抑制帧间动态。基于这一发现，我们提出了 DyMoS（动态运动滑块），这是一种 无需训练 和模型无关的方法，可在初始去噪步骤中重新平衡从生成帧到参考帧的注意力路径。 DyMoS 保持输入图像和模型权重不变，并引入单个标量参数来连续控制运动强度。跨多个最先进的 I2V 主干网的实验表明，DyMoS 能够持续改善运动动态，同时保持视觉质量和参考图像的保真度。