探索更多以解决更多问题：通过基于熵的指导提高文本扩散模型的多样性

尽管扩散模型通过高质量生成和可控引导机制彻底改变了图像合成等连续领域，但将这种可控性引入文本的离散、顺序性质仍然是一个开放的挑战。同时，当前的采样策略和指导方法调整标记可能性，而没有捕获更广泛的语义景观，导致保真度和多样性之间的次优平衡。在这项工作中，我们介绍了一种新颖的 无需训练 语义感知内核熵（SAKE）引导方法。我们的方法计算内核 Gram 矩阵上的 2 阶 Rényi 熵，该矩阵捕获跨词元语义交互和相对词元位置。通过在嵌入空间中线性化这个目标，我们得到了一个易于处理的引导信号，可以动态调整采样分布，将其扁平化以鼓励冗余期间的探索，并在多样化时锐化以提高保真度。实证实验表明，与温度缩放和离散引导基线相比，我们的方法在保真度和多样性之间实现了优越的帕累托前沿，并提高了推理密集型任务（例如代码和数学生成）的多样本性能。