压缩中的损失：评估上下文压缩下的侧约束损失

当上下文窗口面临压力时，LLM 系统会压缩先前的上下文以继续正在进行的任务。我们确定了一类用户发出的指令，即会话约束 (SC)，例如“在我确认之前不要删除任何电子邮件”，这些指令旨在限制 LLM 在会话剩余时间内的行为，但在压缩期间会默默地删除。为了量化这种损失，我们引入了 COMPINT，这是一个评估套件，可以跨三个长上下文场景评估压实器：多回合聊天、代理轨迹和长视野研究。目前的压实机平均仅保留 17% 的注入 SC，并且大多数性能比在不压实的情况下运行相同任务要差。保留率随压缩器、提示、上下文长度、SC 措辞和注入位置的不同而变化很大，这表明损失是系统性的，而不是与任何单一设置相关。我们提出了一种 SC 感知提取器，它作为即插即用模块与压实器一起运行，在所有三种场景中实现超过 90% 的保留率，而无需修改压实器或 LLM。 COMPINT 评估套件和随附的实现可从 https://github.com/ZhiqiEliWang/compaction-integrity 获取。