论文

哈密​​尔顿港潜在审议:缓解测试时计算扩展中的审议漂移悬崖

Port-Hamiltonian Latent Deliberation: Mitigating the Deliberation Drift Cliff in Test-Time Compute Scaling

模型推理测试时计算扩展

摘要

测试时计算扩展已成为高级机器推理的基石,但直接在连续潜在表示空间内执行迭代审议揭示了一种灾难性的病态:审议漂移悬崖。虽然不受约束的循环潜在模型在短期内 (K <= 4) 实现了初始推理增益,但当外推到更深入的思维步骤 (K >= 16) 时,它们的推理就会崩溃,在标准逻辑基准上下降了 22% 到 62%。我们通过 22 轮的实证和理论研究解决了测试时潜在推理中的表达性、李亚普诺夫稳定性和计算效率之间的三难困境。我们证明,严格保守的标量势梯度流可以抑制长程漂移(悬崖 3.40%),但推理精度瓶颈峰值为 32.73%,而无约束旋转流实现了高符号表达性(82.33%),但遭受了严重的 36.87% 漂移悬崖。为了解决这种几何对偶性,我们建立了波特哈密尔顿潜在审议(PH-LD)并提出了直接梯度纯张量亥姆霍兹-霍奇分解(DG-HHD)。 DG-HHD 将吸引流参数化为切线投影张量网络,同时正交解耦非零循环(Hodge 机误差 1.65e-17,收缩误差 5.55e-17),消除运行时 autograd 依赖性,实现 1.84 倍矢量场和 2.09 倍 RK45 rollout加速。在 15 臂对称 Pareto 基准中,DG-HHD 实现了 58.67% 的峰值准确度(比保守的 HHD 增加了 25.94% 的绝对增益),并在 K=32 时保留了 35.27%。转移到小语言模型 (SLM) 多跳因果推理后,DG-HHD 提供单调计算扩展(49.33% 到 51.56%)并抑制分布外漂移(悬崖 -0.66%)。所有 30 个 0 级确定性不变量均经过认证。