关于生成降噪器雅可比矩阵的谱特性

生成式去噪模型（例如扩散和流匹配）通过训练深度神经网络去噪器来学习从复杂分布中进行采样，以从噪声损坏的样本中恢复干净的数据。虽然这些模型通常会根据其合成样本的质量进行比较，但这些指标对驱动生成的底层降噪器的差异提供了有限的了解。在这项工作中，我们建议分析降噪器雅可比矩阵的频谱，作为表征这些差异的工具。在预先训练的去噪模型中，我们观察到更好的生成性能与更大的雅可比特征值相关。受此启发，我们引入了一种正则化方案，通过在扰动输入上训练降噪器来控制雅可比谱，扰动抑制或放大雅可比响应。在 ImageNet 上，我们测试直接修改雅可比光谱属性是否会导致世代的改进。我们的研究结果表明，降噪器受益于沿着与数据相关的主特征方向的增强响应和抑制与数据无关的噪声方向的响应。这使得降噪器雅可比矩阵成为识别生成降噪模型之间差异的有用工具。