您遇到困难的示例：通过熵引导功率采样强化基本模型推理

从序列级功率分布 $p^α$ 中采样可以从基本语言模型中引出 RL 级推理，无需任何参数更新，但标准 Metropolis-Hastings (MH)、马尔可夫链蒙特卡罗 (MCMC) 采样器既昂贵又混合缓慢。我们将两者追溯到结构不匹配：$p^α$ 主要在一组稀疏的、空间聚集的高熵决策点处偏离 $p$，但 MH 提出沿前缀均匀地重新采样位置——在近乎退化的条件上浪费计算，同时在模式发散的地方精确地混合不足。我们提出熵引导功率采样（EGPS），这是一个 无需训练 和无验证器的采样器，它从前向传递中已经存在的 词元级 熵重新导出其建议。 EGPS 跳过确定性块，将每个 MCMC 移动定位到高熵邻域，并在决策点应用 Multiple-Try Metropolis - 使用 \emph{熵质量而不是序列长度}进行采样成本缩放。在 Qwen2.5-Math-7B 上，EGPS 在所有三个基准测试（MATH500 $75.8\%$、HumanEval $62.2\%$、GPQA $42.4\%$）上均达到最佳或并列最佳精度，与 MH 基线相比，挂钟加速高达 $12.6\times$。