从相似性到结构：使用混合图先验的无需训练 LLM 上下文压缩

摘要

长上下文大语言模型的运行计算成本仍然很高，并且通常无法可靠地处理很长的输入，这使得上下文压缩成为许多系统的重要组成部分。现有的压缩方法通常依赖于训练有素的压缩器、密集检索式选择或启发式修剪，并且它们通常难以在严格的词元预算下共同保留任务相关性、主题覆盖范围和跨句子连贯性。为了解决这个问题，我们提出了一个无需训练和模型无关的压缩框架，该框架选择由结构图先验引导的一组紧凑的句子。我们的方法构建了一个稀疏混合句子图，将相互的 k-NN 语义边与短程顺序边相结合，通过聚类提取主题骨架，并使用集成了任务相关性、聚类代表性、桥中心性和循环覆盖线索的可解释分数对句子进行排序。然后，具有冗余抑制的预算贪婪选择会按原始顺序生成可读的压缩上下文。四个数据集的实验结果表明，我们的方法与强大的提取和抽象基线具有竞争力，在长文档基准上展示了更大的收益。