语言模型中上下文确定性的有限证书和涌现的阈值理论

本文开发了一个模型理论框架，通过用有限语义证书替换基准标签来验证上下文条件语言模型行为。第一个问题是有限的确定性：上下文中的示例何时会在不更改模型参数的情况下强制回答查询？在有限域线性任务族中，我们证明了精确的行空间准则，计算残差假设计数，导出完整的查询局部识别曲线，并表明即使对于二进制输出，提取最小的强制子上下文也是 NP 完全的。第二个问题是阈值出现：何时明显的基准跳跃反映了语义转变而不是评分图的不连续性？我们证明了一个反海市蜃楼定理，将阈值度量与语义置信度分开，并为潜在承诺在阈值以上变得可见提供了速率敏感的交叉界限。公共语义对象是可定义事件的置信函数。我们证明它是一个布尔概率测度，相当于相关类型空间上的凯斯勒测度，其测度一公式形成适当的过滤器，并且其 Stone 空间表示在定义扩展下是不变的。由此产生的微积分提供了有限上下文证书、对分隔符命中集、查询教学维度、提示保存标准和规模限制见证。精确算术辅助脚本再现有限域和阈值计算并生成图形使用的数据。