ESamp：通过潜在表示蒸馏引导语言模型语义探索

多样化回答对 LLM 测试时扩展很重要，但标准随机采样主要带来词汇表面的变化，限制语义探索。探索式采样 ESamp 在解码时明确鼓励语义多样性。方法利用神经网络对熟悉输入预测误差较低、对新输入误差较高的性质，在测试时训练轻量蒸馏器，用浅层表示预测 LLM 深层隐藏表示，学习不同深度之间的转换。解码期间，蒸馏器持续适应当前生成上下文中的映射；ESamp 以预测误差作为新颖性信号，对当前前缀下的候选词元扩展重新加权，偏向探索较少的语义模式。异步训练—推理流程的最坏开销低于5%，优化版本为1.2%。实验显示，方法提升推理模型的 Pass@k 效率，优于或达到较强随机与启发式基线，并在数学、科学和代码生成中保持泛化，在创作任务中改善多样性与连贯性的权衡。代码已公开。