GenDSR：把视频生成模型的动态表征迁移到VLM空间推理

摘要

动态空间推理对于将视觉智能与物理世界连接起来至关重要，但对于视觉语言模型 (VLMs) 来说仍然具有挑战性，该模型必须保留场景状态，同时跟踪空间关系如何随时间演变。与此同时，视频生成模型（VGM）经过训练可以合成时间连贯的世界动态，提供丰富的时空表示来源。我们提出了 GenDSR，一个将中间表示从 VGM 迁移到 VLM 以进行动态空间推理的框架。 GenDSR 没有将 VGM 特征视为单一整体先验，而是构建了两个互补的分支：一个保留整体生成上下文的原始分支和一个强调时间变化的差分分支。然后，任务条件化的逐token门控融合两个信号并将结果注入原生视觉表征中。在 DSR-Bench 上，GenDSR 达到了 67.2%，超越了之前的最好成绩，建立了新的最先进水平。

2610.41314v1：论文原图 — 图 1：GenDSR 概述。冻结的原生视觉编码器和视频生成模型处理相同的输入视频。我们根据 VGM 特征构建原始表示和增量表示，并在语言模型推理之前通过任务条件融合将它们与原生视觉表示集成。雪花和火焰图标分别表示冻结和可训练模块。