经验变分自动编码器

我们提出了经验变分自动编码器，这是一种用于连续值（即非矢量量化）序列的通用生成框架。 EVA 基于变分自编码器 (VAE) 的证据下界，但从训练数据中凭经验学习自回归潜在先验，这只能通过 VAE 顶部的附加单个线性层来实现。通过用自预测先验替换传统的标准高斯约束，EVA 显着减轻了传统 VAE 中通常观察到的先验和后验之间的潜在分布差距，并导致用于顺序数据生成的高保真祖先采样。关于图像和声音合成的大量实验表明，尽管 EVA 的推理时间要快得多，但它通过自回归扩散基线实现了具有竞争力的生成质量。