扩散应该进入语言模型的哪个位置？几何引导的隐藏状态替换

连续扩散语言模型需要选择一个进行去噪操作的表示空间，但仍不清楚哪些表示与扩散最兼容。我们研究一个基本的设计问题：预训练语言模型中的连续扩散应该在哪里运行？我们将其表述为隐藏状态界面选择问题，并假设可以从表示几何中识别扩散友好界面。我们使用三个 无需训练 几何代理来操作这一假设：局部紧凑性、全局刚度和有效等级。在两个 8B 尺度的主干上，所得的几何分数预测固定预算扩散桥接性超出了层深度的主要影响。然后，我们实例化 DiHAL，这是一个定位和替换框架，它用条件扩散替换选定接口下方的 Transformer 前缀，同时保留预训练的后缀和 LM 头。在充分的训练下，几何选择的接口仍然接近验证损失预言并优于最差层控制，而扩散桥在匹配的诊断条件下优于参数匹配的确定性替代。这些结果表明，扩散操作的表示空间本身应该被视为语言模型中连续扩散的一流设计变量。