TUBE：离散扩散语言模型证据的切线上限

对数似然是评估生成模型的标准指标。不幸的是，与自回归模型 (ARM) 相比，离散扩散模型通常不允许精确计算该量。因此，现有的评估依赖于证据下限（ELBO），而不清楚真实值可能高出多少。我们通过引入证据切线上限（TUBE）来解决这个问题，这是一个允许无偏蒙特卡罗估计的对数似然的变分上限。我们的 TUBE 扩展到潜变量模型，包括掩模扩散模型 (MDM)、任意阶 ARM (AO-ARM) 以及两者的块变体。应用于阻止 MDM 和阻止 AO-ARM 时，TUBE 揭示了我们的关键实证发现，即这些模型严格低于确切的 ARM 基线，表明 ARM 的可能性仍然占主导地位。