离散扩散的单纯形松弛

用于分类生成的离散扩散模型由损坏内核定义，该损坏内核确定中间状态空间和相关的反向预测问题。在这个家族中，统一扩散得到了广泛的发展，最近的工作将其分类腐败过程与连续的表征和动态联系起来。受这种观点的启发，我们询问是否可以用显式连续状态来增强均匀离散扩散，同时保持其分类腐败过程不变。我们引入了 Simplax，一种精确的狄利克雷分类增强，它将每个损坏的分类状态与辅助单纯形值变量耦合起来，同时保留均匀扩散过程作为其分类边际。这种增强产生了一个易于处理的 Rao-Blackwellized 反向桥目标和一个随机反向采样器，同时保留损坏的分类状态作为降噪器输入。根据经验，Simplax 改善了生成困惑——无条件 OpenWebText 生成的熵权衡。在数独上，专门训练 30 美元线索谜题的模型在所有评估的线索密度（包括最小唯一可解的 17 美元线索体系）的比较方法中实现了最高的准确性，并且在无条件生成中也实现了最高的有效性。