使用分位数标记和邻居上下文进行文本到分布的预测

基于 LLM 的文本回归的许多应用需要预测完整的条件分布而不是单个点值。我们在经验分位数监督下研究分布回归，其中每个输入与多个观察到的分位数结果配对，目标分布由密集的分位数网格表示。我们解决了当前方法的两个关键局限性：缺乏分布估计的局部基础，以及对共享表示的依赖，这在输入和分位数输出之间造成了间接瓶颈。在本文中，我们介绍了分位数词元回归，据我们所知，这是第一个将专用分位数词元插入到输入序列中的工作，通过自注意力为每个分位数启用直接输入输出路径。我们通过检索进一步增强这些分位数标记，将语义相似的邻居实例及其经验分布与来自相似实例的本地证据结合起来进行地面预测。我们还首次对分位数回归的损失函数进行了理论分析，阐明了各自优化的分布目标。在 Inside Airbnb 和 StackSample 基准数据集上使用 LLM 参数范围从 1.7B 到 14B 的参数进行的实验表明，具有邻居的分位数标记始终优于基线（MAPE 低约 4 个点，预测区间窄 2 倍），在较小且更具挑战性的数据集上尤其有很大的收益，其中分位数标记产生明显更清晰和更准确的分布。