论文

自回归超分辨率的可靠粗尺度上的细节延续

Detail Continuation over a Trustworthy Coarse Scale for Autoregressive Super-Resolution

模型推理解码与生成控制

摘要

幻觉仍然是生成超分辨率(GSR)中的一个持续挑战,其中重建结果可能包含视觉上合理但支持较弱的内容、结构偏差或相对于低分辨率(LR)输入的不自然纹理。现有的 GSR 方法广泛探索了感知真实性和重建保真度之间的权衡,但保留可靠的粗尺度信息和恢复更多不确定的精细细节之间的划分通常在整个恢复过程中隐式处理。视觉自回归(VAR)建模提供了一个自然的机会来重新审视这个问题,因为它的从粗到细的下一尺度预测提供了一个明确的逐尺度生成接口。然而,现有的基于VAR的SR方法仍然继承了原始的完整的1到$N$自回归生成路径,尽管对于超分辨率,LR中的粗尺度信息通常相对更可靠,而长的自回归链可能会积累预测误差。受这些观察的启发,我们提出 \textbf{K2N},它将基于 VAR 的 SR 从全路径生成重新表述为 $k$ 到 $N$ 细节延续过程。具体来说,早期的粗尺度状态是直接从 LR 建立的,而仅剩余的更精细的尺度是自回归恢复的。实验结果表明,K2N 在标准 SR 指标上与 VARSR 基线相比仍然具有竞争力,同时在以幻觉为中心的评估方面表现出更明显的优势。这些发现表明,以尺度方式明确地重新思考生成路径可能是提高生成超分辨率可靠性的一个有希望的方向。我们的代码即将在 https://github.com/BRL-SYSU/K2NSR 发布。