在几何中解码：缓解嵌入空间拥挤以促进复杂推理

基于采样的解码构成大语言模型（LLM）复杂推理的基础，解码策略关键地塑造模型行为。基于温度与截断的方法通过全局概率重加权或阈值化重塑下一token分布，以平衡质量-多样性权衡。然而，它们仅作用于token概率，忽视嵌入空间中token之间的细粒度关系。我们揭示一个新现象——嵌入空间拥挤：下一token分布把概率质量集中在嵌入空间中几何相近的token上。我们在多个粒度上量化拥挤，发现其与数学问题求解中的推理成功存在统计关联。受此发现启发，我们提出CraEG，一个通过几何引导重加权缓解拥挤的即插即用采样方法。CraEG免训练、单次前向，且与标准采样策略兼容。在多个模型与基准上的实验显示生成性能改善，鲁棒性与多样性指标均有增益。