具有半动态压缩比的密度感知软上下文压缩

软上下文压缩通过将长上下文编码为较少数量的潜在标记，减少了在 LLM 中处理长上下文的计算工作量。然而，现有框架应用统一的压缩比，未能考虑自然语言信息密度的极端变化。虽然采用密度感知的动态压缩比似乎很直观，但实证研究表明，模型本质上与由输入相关的连续结构超参数参数化的操作相矛盾。为了解决这个缺陷，我们引入了半动态上下文压缩框架。我们的方法具有离散比率选择器，它根据内在信息密度预测压缩目标，并将其量化为一组预定义的离散压缩比率。它与压缩器在合成数据上进行有效的联合训练，以摘要长度作为代理来创建用于压缩比预测的标签。广泛的评估证实，我们的密度感知框架利用均值池作为骨干，始终优于静态基线，为上下文压缩技术建立了强大的帕累托前沿。我们的代码、数据和模型权重可在 https://github.com/yuyijiong/semi-dynamic-context-compress 获取