通过降阶线性最优控制激活视频生成模型

在大规模网络数据上训练的文本到视频 (T2V) 模型可能会生成不需要的内容，从而激发干预措施，在不牺牲视觉质量的情况下减少有害输出。激活转向为微调和提示过滤提供了一种有吸引力的机械替代方案，但现有的 T2V 转向方法仍然有限，通常采用粗略的、非预期的干预措施，可能导致过度转向和内容降级。为了弥补这一差距，我们提出了潜在激活线性二次调节器（LA-LQR），这是一种用于微创 T2V 转向的降阶最优控制框架。 LA-LQR 将 T2V 推理制定为动态系统，并计算闭环反馈干预，将激活引导至所需的特征设定点，同时惩罚不必要的扰动。为了使高维视频激活的最优控制可行，我们将激活投影到从对比提示对导出的低维、任务相关的子空间上，估计该潜在空间中的局部线性动态，并解决潜在的 LQR 问题以获得特定于时间步长和层的转向信号。我们提供了将潜在设定点跟踪与原始激活空间特征控制相关的理论界限，并凭经验验证了减少的潜在动态的保真度。在概念引导和视频安全基准方面，LA-LQR 相对于基线减少了不安全的生成，同时保持了即时保真度和视觉质量。