论文
闭环知识动态:饱和与逃逸的操作框架
Closed-Loop Knowledge Dynamics: An Operational Framework for Saturation and Escape
摘要
反馈驱动的循环支持 大语言模型、强化学习和自主发现的迭代改进,但在重复的内部反馈下,它们的收益往往会减少。我们研究为什么闭环知识系统会饱和,以及哪些外部信息可以使它们超越当前的吸引子。我们引入了一个三级操作框架,其中知识状态 $x_t$ 通过由结构参数 $θ$ 索引的转换内核 $K_θ$ 演化。控制结构被定义为由这些核引起的 $θ$ 的观测等价类,而吸引子和盆地是固定 $θ$ 动力学的属性。结构干预会改变 $θ$ 并在预先指定的探测状态上产生可检测的内核差异,从而使结构变化可证伪。使用李亚普诺夫漂移条件,我们表明稳定的内部动力学接近具有指数衰减瞬态和噪声控制的残余本底的有界稳定区域。我们通过干预引起的吸引子位移的度量条件和增加逃逸概率的相对基线 KL 下界来表征逃逸。该分析还解释了为什么条件互信息本身无法证明逃逸:它衡量干预条件更新之间的变化,而不是偏离不干预法则。 LLM 代码修复、稀疏奖励强化学习和贝叶斯优化中的案例研究使用匹配的连续控制来说明反馈强度和对齐如何影响质量改进逃逸。我们的贡献是稳定性工具、可测量的干预效果和跨域诊断之间的操作联系。