扩散编码器

我们利用扩散模型的表达能力构建了一种新型编码器。在传统的变分自动编码器中，编码器和解码器共同协商输入的潜在表示。这是通过重新参数化技巧实现的，它简化了训练，但代价是将编码器限制为简单的分布族。用扩散模型替换该编码器需要重新考虑如何将解码器压力传输回编码器，因为它们倾向于在相反方向上更新潜在的内部估计。受期望最大化算法的启发，我们通过交替训练方案解决了这个问题。我们的方法可以实现编码器和解码器之间更可靠的同步，同时保留标准扩散模型的简单高效的训练目标。