概率语言尝试：压缩、决策策略和执行重用的统一框架

我们引入了概率语言尝试（PLT），这是一种统一的表示形式，可以明确任何序列上的生成模型隐式定义的前缀结构。通过将相应标记或动作的条件概率分配给每个输出边缘，PLT 同时充当： (i) 通过频率加权区间编码的最佳无损压缩器，将算术编码推广到模型条件分布； (ii) 顺序决策问题的策略表示，包括博弈、搜索和机器人控制； (iii) 记忆索引，可以通过结构化检索而不是完整的模型执行来回答重复的推理查询。核心技术成果是先验引导的缓存定理：在平稳生成分布下，对于所有查询计数低于随先验集中而增长的阈值，PLT 引导的缓存比任何经验频率缓存实现严格更低的预期推理成本。这会将 O(n^2) Transformer 注意力成本转换为 p_r * O(log N) + (1 - p_r) * O(n^2) 的预期成本，其中 p_r 是先验估计的重用概率，N 是工件存储大小。我们进一步引入了一种混合压缩架构，将任何数据集分解为 PLT 覆盖的多数和稀疏残差存储，将算术编码与 Kolmogorov 式程序表示和率失真理论连接起来。我们跨国际象棋、网络搜索、机器人、组织工作流程和 LLM 推理实例化该框架，证明压缩、决策和计算重用均源自序列空间上的单个概率度量。