上下文压缩不是一回事：在匹配预算下可读的符号重新表达与连贯的摘要

我们研究使用小语言模型进行多跳问答的上下文压缩。我们提出了 Telegraph English，这是一种可读的符号格式，可将检索到的段落重写为结构化实体关系语句，以较低的词元成本保留推理证据。在 MuSiQue、TwoWiki 和 HotpotQA 的对照实验中，Telegraph English 在每个数据集上都优于三个匹配预算压缩基线（字符级删除、截断和随机子采样），增益提高了 13 到 20 个 F1 个百分点。它还优于由同一编码器在最难的数据集上生成的连贯散文摘要。预先注册的深度交互假设为空：优势不会随着数据集中的推理深度而增加。我们将这些结果解释为证据，表明可读的符号重新表达比匹配的 词元预算 处的自然语言或连贯摘要更密集地保留了实体内容。