论文
潜在频率有效性:使用筛选视频 VAE 传输算子进行快速频谱编辑
Latent-Frequency Validity: Fast Spectral Editing with Screened Video-VAE Transfer Operators
摘要
视频 VAE 潜伏中的直接频谱编辑可以控制噪声、闪烁、平滑度和频率内容,而无需解码-过滤-重新编码过程。然而,视频 VAE 可能会跨潜在通道重新分配像素空间频带,并且潜在编辑可能会破坏 VAE 往返动态。我们引入了\emph{潜在频率有效性}(LFV),它学习紧凑的 VAE 特定频谱响应,并且仅当它提高解码目标保真度而不恶化往返漂移时才部署它。 LFV 遵循从对角每频率校准器 (C1) 到全通道混合 (CM) 的验证选择路径,使跨通道容量成为可控的每次编辑资源。在跨越 6 个光谱族的 544 个 VAE-编辑单元中,LFV 发出 423 个廉价运算符:277 个由 C1 处理,而 146 个(发出的运算符的 34.5%)需要通道混合。在主要 120 单元径向扫描中,99/100 的发射操作员通过了源视频分组保留评估。在另外五个过滤器系列中,所有 323 个排放操作员均通过了保留评估。完全冻结的 OpenVid 拟合算子(包括验证选择的路径系数)无需适应即可通过所有 20 个测试的 CogVideoX 和 HunyuanVideo 生成域单元。所选响应与直接潜在过滤器延迟相匹配,并且比像素过滤器重新编码快约 3 倍。生成的图揭示了不同的 VAE 机制,包括强通道耦合的 CogVideoX 响应和尖锐的 Open-Sora 高频带稳定性前沿。