PC-SubMax：用正则化子模最大化压缩提示

虽然大语言模型 (LLM) 越来越多地部署在长上下文场景中，但冗长的提示可能会增加推理成本和延迟，并加剧“中间迷失”现象。选择性提示压缩提供了一种与模型无关的方法来缓解这些问题。然而，基于固定标记或句子级别重要性得分的方法可能会忽略内容贡献如何随所选子集变化，从而限制了它们解释句子间冗余的能力。依赖于自回归 LLM 评分的压缩程序也会带来大量开销。我们提出了 PC-SubMax，这是一个理论基础框架，它将选择性即时压缩制定为背包约束下的正则化单调子模最大化。目标是 $U(S)-\ell(S)$，其中单调子模效用 $U$ 结合了信息覆盖范围、查询相关性和对数行列式多样性，非负模惩罚 $\ell$ 捕获了词元成本。通过边际收益递减，目标评估每个句子相对于所选内容的贡献。为了优化这个目标，我们开发了正则化贪婪+最大（RGM）算法，该算法确定性地返回满足$U(Q)-\ell(Q)\geq \frac{1}{2}U(O)-\ell(O)$的可行集$Q$，其中$O$是正则化问题的最优可行解。 RGM 使用 $O(n\kappa)$ 值预言机查询，其中 $n$ 是候选句子的数量，$\kappa$ 是最大可行子集大小。 PC-SubMax 使用编码器表示并避免压缩期间的自回归 LLM 评分。七个不同基准的实验证明了具有竞争性的下游性能和较低的压缩开销。