论文

VQ-Jarvis:具有敏锐视野和快速思维的检索增强视频恢复代理

VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought

智能体系统Agent 架构与控制循环

摘要

现实场景中的视频恢复面临异构降级的挑战,其中静态架构和固定推理管道通常无法泛化。最近基于代理的方法提供了动态决策,但现有的视频恢复代理仍然受到质量感知不足和低效搜索策略的限制。我们提出了 VQ-Jarvis,这是一种检索增强的一体化智能视频恢复代理,具有更清晰的视觉和更快的思维。 VQ-Jarvis 旨在准确感知配对恢复结果之间的退化和细微差异,同时有效地发现最佳恢复轨迹。为了实现清晰的视觉,我们构建了 VSR-Compare,这是第一个大规模视频配对增强数据集,具有 20K 个比较对,涵盖 7 种退化类型、11 种增强算子和不同的内容领域。基于该数据集,我们训练了一个多操作员判断模型和一个退化感知模型来指导代理决策。为了实现快速思考,我们引入了一种适应视频难度的分层算子调度策略:对于简单的情况,从检索增强生成(RAG)库中以一步方式检索最佳恢复轨迹;对于更困难的情况,会执行逐步的贪婪搜索以平衡效率和准确性。大量实验表明,VQ-Jarvis 在处理复杂的降级视频时始终优于现有方法。