稳健的长度预测：重尾提示条件分布的视角

输出长度预测对于高效的 LLM 服务非常重要，因为它直接影响批处理、内存预留和调度。对于仅提示长度预测，大多数现有方法使用一次性采样长度作为标签，隐式地将每个提示视为具有一个真实的目标长度。我们证明这是不可靠的：即使在固定的模型和解码设置下，相同的提示也会导致 \emph{提示条件输出长度分布}，而不是确定性标量，并且该分布与 \emph{重尾} 行为一致。受此启发，我们将长度预测视为来自重尾提示条件长度分布的稳健估计。我们提出了提示条件长度分布（ProD）方法，该方法从同一提示的多个独立生成中构建训练目标。开发了两种变体来重用所服务的 LLM 的隐藏状态：\mbox{ProD-M}，它使用基于中值的目标进行鲁棒点预测；ProD-D，它使用保留提示条件不确定性的分布目标。我们通过分析替代模型下的估计误差来提供理论依据。不同场景的实验显示预测质量持续提高。