将文本映射到多重图：作为 Lévy Walk-Guided Graph Pruning 的提示压缩

现有的提示压缩方法将文本视为平面标记序列，无法捕获重要信息的分布式性质，这些信息通常分布在多个位置并通过局部句法依赖性和全局语义关系连接。这种关系结构自然地表示为图，其中标记或句子成为节点，它们的依赖关系成为边。为此，我们提出了 RAGP，它将即时压缩制定为多重图上的冗余感知图修剪，联合建模细粒度的基于注意力的依赖关系和粗粒度的语义关系。为了有效地识别这种异构结构（密集的局部子图和稀疏的全局连接）中的非冗余节点，我们采用 Levy 游走，其重尾步长分布自然地平衡了局部利用与全局探索。 LongBench 上的实验表明，RAGP 在 4 倍压缩比下平均得分为 49.3，优于现有的基于 LLM 的压缩方法，例如 LongLLMLingua 在 3 倍压缩比下获得了 48.8 分。此外，RAGP 在多项任务上也超越了最先进的基于视觉的文本压缩范例。