当潜在几何图形不够时：用于非自回归文本生成的草稿条件潜在细化

连续扩散和流动模型对于非自回归文本生成很有吸引力，因为它们可以并行更新所有位置。主要困难是连续潜在状态和离散标记之间的接口。本报告研究了由冻结 BERT 编码器、并行解码器、去噪 DraftPrior、本地 FlowNet 和学习对角 MetricNet 构建的草稿条件潜在细化模型。早期的高斯起始实验表明，良好的潜在空间度量（例如尺度匹配或余弦相似度）并不能保证良好的解码。生成的潜在变量可以接近真实的编码器潜在变量，但仍然会产生高熵、有偏差或重复的词元分布。因此，我们将任务定义为受控的局部细化，而不是从噪声中完全生成。在 ROCStories 上，使用前两个句子作为提示，后三个句子作为目标，完整的 768 维 BERT 潜伏比压缩的 256 维潜伏恢复标记要好得多。对于 768 维潜在变量，DraftPrior 目标词元概率对于干净草稿为 0.938，对于 3% 词元丢失为 0.613，对于 5% 丢失为 0.483，对于 10% 丢失为 0.272。局部流细化和融合解码器感知读出提供了适度的额外增益，而度量学习和 OT 式对齐改进了几何结构，但没有缩小解码器差距。主要结果是一个诊断结果：仅靠潜在几何是不够的。连续潜在文本生成应通过解码器可恢复性、起始分布的质量以及细化是否保留解码器可读结构来评估。