论文
Min-k采样:借助相对logit动态将截断与温度缩放解耦
Min-$k$ Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics
摘要
大语言模型生成文本的质量关键取决于解码采样策略。尽管Top-k、Top-p和Min-p等主流方法通过概率空间截断在多样性与准确性之间取得平衡,但它们共享一个固有局限:对温度参数极端敏感。近期的Top-nσ等logit空间方法实现了温度不变性,但其依赖的全局统计量易受长尾噪声影响,无法捕捉头部候选之间的细粒度置信结构。我们提出Min-k采样,一种新颖的动态截断策略,通过分析排序后logit分布的局部形状来识别「语义悬崖」——从高置信核心token到不确定长尾token的急剧过渡。通过计算按位置加权的相对衰减率,Min-k在每个生成步动态确定截断边界。我们严格证明Min-k具有严格的温度不变性,并以实验证明其对超参数选择不敏感。在多个推理基准、创意写作任务和人类评估上的实验表明,Min-k持续提升文本质量,即使在基于概率的方法失效的极端温度设置下仍保持稳健性能。我们公开了代码、模型与分析工具。
