递归学习系统的无声崩溃

递归学习（模型根据自身先前版本生成的数据进行训练）在 大语言模型、自主代理和自我监督系统中越来越常见。 However, standard performance metrics (loss, perplexity, accuracy) often fail to detect internal degradation before it becomes irreversible.在这里，我们发现了一种称为无声崩溃的现象：在广泛的递归条件下，模型内部分布（预测熵、表征多样性和尾部覆盖率）逐渐收缩，即使传统指标看起来稳定或有所改善。 We discover that silent collapse is not abrupt.它的发生可靠地先于三个轨迹级前兆：（1）锚熵的收缩，（2）表示漂移的冻结，以及（3）尾部覆盖的侵蚀。在标准验证指标出现任何退化之前，这些信号会表现出多代信号，从而实现早期预警。基于这些前身，我们提出了 MTR (Monitor--Trust--Regulator) 框架，这是一个轻量级的元认知循环，可以监控轨迹统计数据，估计慢时间尺度的信任变量，并自适应地调节有效学习强度。 MTR 提供早期预警并主动防止无声崩溃，而无需访问原始真实数据——当原始数据不可用、被污染或私有时，这是一个关键优势。