SPARK：基于 Frozen DiT 的超分辨率的输入条件稀疏激活调制

现实世界的图像超分辨率（SR）越来越依赖于扩散Transformer（DiT）骨干网，其内部激活可以由少量的大量通道控制。然而，提高这些模型中的感知质量通常仍然需要 微调 网络或附加额外的适配器，而这种结构化的激活空间在很大程度上尚未被探索用于适应。我们研究主导通道是否可以作为基于 DiT 的冻结 SR 模型的紧凑适应接口。我们首先描述它们在预训练的 SR 主干中的行为，并通过受控干预表明它们强烈影响重建质量。基于这一观察，我们引入了 SPARK，这是一种轻量级输入条件控制器，它仅预测选定通道的有界每通道仿射变换，同时保持 SR 主干和 VAE 冻结。通过在线激活排序程序来识别主要通道，并且仅优化以低分辨率 VAE 潜在条件为条件的小预测器。对 DIV2K、RealSR 和 DRealSR 三个基于 DiT 的 SR 主干进行的实验表明，在每个流和块仅调制 8 个通道的情况下，保真度和感知质量均获得一致的增益。受控比较进一步表明，这些增益不能仅通过参数预算或对所选通道的访问来解释。