论文
慢思考与主动感知的第一性原理理论
A First-Principles Theory of Slow Thinking and Active Perception
摘要
作为认知功能第一性原理建模系列的一部分,本文尝试为思考与感知提供数学形式化。它正式推导慢思考或更一般地主动感知,涵盖慢思考大语言模型的设计、训练与推理。起点是可观测空间与潜空间上概率分布的提升与投影——目标是以简单函数族(如神经网络)表示复杂数据分布。提出称为“主动提升”的理论:基于潜序列采样与以最大速率降低不确定性的内在驱动。它导出一个大设计空间,包含我们称为静态理论的子空间中的慢思考模型。这些模型定位于静态理论诱导的表示层级与采样器层级之上,并可通过攀升两个层级升级。主动提升进一步导出带内部时间轴的推理过程,以及类似最短长度编码与语言发明的训练目标。由此刻画感知的能动性——包括慢思考格式的涌现。该理论的技术副产品包括改进慢思考模型的三阶段路径、为所有数据模态构建编码器与生成模型的统一方法、类人视觉表示的先验形成,以及策略坍缩的一种可能解。
