论文

MORSE:通过逆向评分进行多上下文排序以实现证据保存压缩

MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression

上下文与知识上下文工程

摘要

基于似然的上下文压缩可以通过顺序评分来解释跨上下文冗余,但这使得压缩结果对上下文顺序敏感。我们表明,在压缩器不变的情况下,同一上下文集合的不同排列可以产生明显不同的证据保留结果。我们将这种敏感性归因于信息抢占:早期部分相关的上下文可以吸收共享信息的信用,抑制后来更强的证据载体的增量分数并增加其被删除的风险。受控的配对交换干预通过证明证据优先的排序大大提高了支持证据的存活率,直接支持了这一机制。为了解决这个问题,我们引入了 MORSE,一种用于证据保存上下文排序的压缩感知方法。 MORSE 将常见的反向查询证据原则应用于单独的上下文和压缩的候选输出,使用前者构建证据优先锚点,使用后者指导压缩感知排列选择。在多跳 QA 基准、压缩程序、预算和评分模型中,MORSE 始终如一地改进静态逆序和计算匹配随机搜索的证据保存,并在下游 QA 中实现相应的整体改进。我们的代码可以在这个 https URL 上找到。