提示的价值：一种LLM相对的Kolmogorov复杂度方法

在宝贵产物日益由LLM创造、完成或处理的世界里，核心经济问题不仅是LLM能产出什么，还有我们提供给它的输入（即提示）中残留多少价值。给定一个帮助LLM产出产物z（一个证明、程序、设计或科学假设）的提示、提示线索、批评、问题陈述或部分解答，我们应如何度量该输入的价值？直观上，当一个输入使目标产物对模型更容易生成时——无论是提高其采样概率，还是减少找到它所需的思考时间——它就是有价值的。我们对这一问题提出一种计算化的Levin–Kolmogorov复杂度方法，做法是把经典定义中的通用图灵机恰当地替换为LLM本身。具体地，我们引入LLM相对的概率Levin–Kolmogorov复杂度pKt概念——把模型的思考视作程序的随机磁带，并按Levin的方式对其收取对数费用——并把提示价值定义为关于pKt的算法互信息。这刻画了上述直觉：一个提示若对产物z具有b比特的价值，会使z“更容易获得”2^b倍：或把成功概率乘以2^b，或把所需计算除以2^b，或取概率与计算之间的相应权衡。与经典的算法互信息不同，我们的定义可以高效估计。我们还进一步证明，在自然的复现实验下，提示价值为b比特意味着：没有提示时复现z的中位token成本是有提示时的2^b倍。