论文
每次我雇用一名语言学家,推理成本都会下降:论语言规则作为有效的提示压缩器
Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
摘要
即时压缩缩短了 LLM 输入以降低推理成本,但现有方法通过 LM 前向传递来评估词元重要性。这种细致入微、成本高昂的词元选择是否必要仍然值得怀疑。压缩需要识别信息内容,这是语言研究长期以来通过可作为确定性规则操作的线索来解决的问题。因此我们问:\textbf{单独的语言规则}可以作为有效的提示压缩器,而无需在压缩时基于 LM 评分吗?为了解决这个问题,我们对词汇、句法、语义和话语种子进行离线进化搜索,以找到竞争规则组合。由此产生的语言压缩器在部署时不需要 LM 前向传递,并且仅使用 CPU 端处理进行压缩。我们使用双路径协议对其进行评估,以平衡压缩质量和重建保真度。在短段落、多文档推理和对话记忆 QA 数据集中,进化的压缩器实现了与最近先进的即时压缩策略类似的性能。性能在轻度到中度压缩下最强,并随着压缩变得更加激进而降低,而直接和重建路径表现出不同的模式。进化分析表明,有效的压缩可以融合跨语言级别的信号,并且随着压缩率的增加,规则从标记修剪转变为句子提取。