熵作为结构先验：DiT 信念空间上的对数障碍如何推动音乐多样性和发展

在生成模型中通常会避免基于置信度的损失加权，因为当模型确信错误时它会加速错误，但这种直觉在监督扩散训练中会被打破。我们引入了 Eisbach log-barrier，这是一种从 DiT 输出的空间能量分布的熵导出的无参数权重：高熵抑制梯度，而低熵则保留梯度。应用于 MusicCaps 上 Stable Audio 3 Medium 的 LoRA 微调 时，与未加权训练（与模式崩溃相反）相比，它意外地产生了更强的主题发展、更清晰的声学区分和更高的纹理多样性。这是有效的，因为在监督扩散中，梯度方向被锁定到 真值，因此置信度仅缩放步长，并且因为时间熵在保留高对比度样本的同时降低了平坦样本的权重。其结果是一个在线的、自参考的数据课程，它纯粹是从前向传播中产生的，具有分析的噪声水平动态和可测试的预测。