概率电路的表现力边界：与 大语言模型 的比较

概率电路 (PC) 是支持精确高效的概率推理的深度生成模型。然而，在自回归语言建模中，PC 仍然落后于基于 Transformer 的 大语言模型 (LLM)，这表明存在重要的表达能力差距。在这项工作中，我们在统一的自回归公式下比较 PC 和 LLM。首先，输出瓶颈：PC 将预测参数化为概率空间中的凸组合，这很难表示语言典型的尖锐分布；采用 logits 空间参数化大大缩小了这一差距。其次，上下文编码瓶颈：我们证明结构化可分解 PC 可以在 vtree 对齐分区上匹配 Transformer 分离等级，但从理论上和经验上都表明，这种能力仅限于与固定路由结构对齐的分区，当数据表现出异构依赖拓扑时，会导致严重的退化。我们进一步证明，可分解的 PC 严格来说比结构化可分解的 PC 更具表现力，尽管有效地优化它们仍然是一个开放的挑战。