MSR：视频生成的多主题参考

在多个图像上调节视频生成器需要保留外观，同时将每个参考与其预期角色相关联。我们提出了 MSR（多主题参考），这是一种用于基于 LTX 的视频生成的槽感知调节方案。每个参考图像被独立编码为静态剪辑并由单独的潜在词元组表示。紧凑的傅里叶特征多层感知器添加了数字槽嵌入，而槽相关的时间偏移则修改组的旋转坐标。参考组被添加到噪声目标标记之前，并在仅目标流匹配训练期间充当干净的上下文。我们通过低秩适应来实现该方案，并发布所得的权重和推理工作流程。定性示例展示了在现实和风格化场景中包含不同角色和参考环境的构图。发展观察表明，相对于早期的连续参考基线，参考混乱减少了，而相似的服装、复杂的服装和观点变化仍然具有挑战性。我们描述了调节机制、保留的训练配置以及观察到的发布系统的优点和局限性。补充音频参考实验增加了语音调节，同时保持视觉参数冻结。