大语言模型 并不总是需要可读的语言

大语言模型 (LLM) 通常会以人类可读的自然语言进行提示和交互，即使目标读者是其他模型也是如此。本文研究了是否可以将语义信息编码为紧凑的非标准文本形式，从而牺牲人类可读性，同时保持 LLM 的可恢复性。我们将此类以模型为中心的文本表示称为 BabelTele，这里不是将其视为固定协议，而是将其作为对 LLM 生成和解释此类表示的能力的实证探索。通过可读性诊断、模型似然测量、人工问卷和下游任务评估，我们发现 BabelTele 可以大大偏离普通的自然语言，同时保留指令调整的 LLM 的核心语义。作为一种与任务无关的表示范式，BabelTele 表现出高信息密度，即使文本量压缩到原始长度的 27.9%，也能保持 99.5% 的语义保真度。我们进一步评估其在跨模型传输、代理记忆和多代理通信方面的语义鲁棒性。结果表明，BabelTele 可以减少上下文开销，同时通常保持可靠的下游性能，尽管其有效性取决于压缩器-读取器对和任务设置。这些发现表明，人类可读性、自然语言典型性和模型端语义可恢复性可以部分解耦，为 LLM 系统的未来探索开辟了一条通向模型本机表示的道路。