论文

SlotMemory:用于流式长视频生成的以对象为中心的 KV 内存

SlotMemory: Object-Centric KV Memory for Streaming Long-Video Generation

模型推理KV Cache

摘要

流视频生成模型通常依赖于以时间为中心的内存,它将历史上下文组织为原始帧、块片段或非集群标记。当实体退出框架或在交互式提示转换期间,这种组织经常导致身份漂移和语义不一致。为了解决这些限制,我们提出了 SlotMemory,一种用于流视频扩散的以对象为中心的键值存储机制。我们的方法通过将 Transformer 的键值流形分解为离散的、可重用的语义槽,将内存抽象从事件发生的“何时”转变为所表示的“内容”。通过利用这些槽作为路由地址来索引和存储高保真键值词元,我们可以实现跨长期的实体级持久性和提示感知检索。使用 Wan2.1-T2V-1.3B 主干网对 60 秒的交互式叙述进行评估,SlotMemory 获得了 81.61 分的最先进质量分数,与现有最强的流媒体基线相比,动态一致性相对提高了 22.8%。我们的结果表明,结构化语义表示,而不是原始时间容量,是持久长格式视频合成的基本原语。我们的代码和检查点可在 https://tj12323.github.io/SlotMemory/ 获取。