超越位置偏见：将上下文压缩从位置驱动转变为语义驱动

大语言模型 (LLM) 在不同的任务中表现出了卓越的性能。然而，它们在长上下文场景中的部署面临着高计算开销和信息冗余。虽然软提示压缩已成为一种通过将序列压缩为紧凑嵌入来减轻这些成本的有前途的方法，但现有范例仍然从根本上受到位置偏差的限制：它们主要依赖于在固定位置插入可学习的标记或根据其物理标记布局进行组标记，从而导致性能不稳定和语义碎片。为了克服这个瓶颈，我们提出了语义一致性上下文压缩（SeCo），一种将上下文压缩从位置驱动转变为语义驱动的方法。 SeCo 不受物理词元布局的约束，而是通过选择与查询相关的词元作为语义中心并通过一致性加权合并来聚合剩余词元，直接在语义空间中动态锚定压缩。这种设计本质上保留了语义一致性，同时消除了位置偏差。对两个骨干模型的 14 个基准进行的广泛实验表明，SeCo 在下游任务、推理延迟和域外鲁棒性方面始终表现出优越性。该代码可从 https://anonymous.4open.science/r/seco-EE5E 获取。