通过字典编码和上下文学习进行无损即时压缩：实现重复数据的经济有效的 LLM 分析

情境学习已成为 大语言模型 (LLM) 的重要学习范例。在本文中，我们证明 LLM 可以在上下文中学习编码密钥并直接对编码表示进行分析。这一发现可以在没有模型 微调 的情况下通过字典编码实现无损提示压缩：频繁出现的子序列被紧凑的元标记替换，并且当在系统提示中提供压缩字典时，LLM 在分析过程中正确解释这些元标记，产生与未压缩输入等效的输出。我们提出了一种压缩算法，可以识别多个长度尺度的重复模式，并结合词元节省优化标准，确保压缩通过防止字典开销超出节省来降低成本。根据数据集特征，该算法可实现高达 80$\%$ 的压缩率。为了验证 LLM 分析精度在压缩下得以保留，我们使用解压缩作为具有明确 真值 的代理任务。使用 Claude 3.7 Sonnet 对 LogHub 2.0 基准进行的评估表明，即使压缩比为 60$\%$-80$\%$，基于模板的压缩的精确匹配率也超过 0.99，算法压缩的平均 Levenshtein 相似度得分高于 0.91。此外，压缩率解释了相似性指标中小于 2$\%$ 的方差，表明解压质量取决于数据集特征而不是压缩强度。这种 无需训练 方法与基于 API 的 LLM 配合使用，直接解决基本的部署约束（词元限制和 API 成本），并支持对大规模重复数据集进行经济有效的分析，即使数据模式随着时间的推移而变化。