D-Scope：使用稀疏自动编码器分解和控制扩散Transformer

稀疏自动编码器（SAE）揭示了扩散Transformer（DiT）中的视觉结构，但解释特征并不能确定它是否可以用于控制生成。我们引入了 D-Scope（扩散范围），这是一个通过共享视觉证据将特征解释与生成控制连接起来的框架。 D-Scope 将高度活跃的图像块的 SigLIP~2 嵌入聚合到视觉质心中。然后，将目标文本描述与共享图像文本嵌入空间中的这些视觉质心进行匹配，从而无需针对每个特征进行文本注释即可检索各个特征。底层补丁为检查每个选择提供了证据，而空间屏蔽干预则在固定生成条件下以不同的强度测试相应的解码器方向。我们描述了两个模型系列和五个层中的 150 个 SAE，并引入了 100 个目标概念的基准，其中有 10 个上下文，每个上下文都跨越未指定和明确冲突的条件。我们的实证结果表明，高重建保真度可以与低词典利用率和有限的视觉证据覆盖率共存。在每种情况的最佳扫描强度选择下，对比检索比测试的转向配置上的直接检索产生更大的平均区域 SigLIP~2 增益，而没有持续改善外部区域的保留。 D-Scope 提供了一个可检查的框架，用于通过视觉证据及其解码器方向对生成的影响来评估稀疏 DiT 特征。该演示可在 https://jiahaozhang-public.github.io/d-scope/. 获取