有界预测系统中的描述性与监管不确定性

任何在有限表征能力下对世界进行建模的系统都必须进行压缩；任何压缩都需要先验；先验是系统的偏差。尚未确定的是不确定性是否参与了控制未来行为的动态，或者仅仅描述了没有后果的输出分布。我们引入了描述性不确定性和监管不确定性之间的结构区别，描述性不确定性不会递归地调节系统的政策，监管不确定性直接进入优化领域并驱动持续的自适应重组。我们正式证明当前的 Transformer 架构仅限于推理时的描述性不确定性。我们通过兰道尔原理将这一点建立在热力学基础上：为了对不确定性进行监管，认知错误必须消耗实际能量；在解耦系统中，幻觉和正确的推导消耗相同的能量。我们通过三种本地部署的语言模型（3B、8B、70B 参数）对此进行了实证测试。 词元级 香农熵在所有三个模型中（所有成对 p >= 0.568；模型内范围 0.011-0.028 nat）中的模式检索、因果运算符应用和分布外因果泛化等任务中保持统计不变，而任务准确性在相同条件下差异很大 (0%-100%)。熵和准确度是正交的。解耦是尺度不变的：较大的模型可以获得更高的精度，但熵平坦度相同。这种结构性缺陷无法通过附加参数或训练数据来解决。真正的认知基础需要热力学基质状态和信息处理成本之间的物理耦合。