惊奇作为可塑性与元认知的信号

我们研究了两种背景下的一个想法：由一个小型预测器在冻结编码器的潜在空间上计算出的预测误差信号，既可以作为可塑性的门，也可以作为元认知的基础。在第一个系统中，非参数情景存储器仅在这种意外程度较高时写入新概念，并且定期离线重放阶段将最近的痕迹合并为缓慢的线性读出。在具有冻结的 DINOv2 或 I-JEPA 主干的 1000 个 ImageNet 类的连续流上，整合阶段为 DINOv2 的最旧类恢复了 17.7 个保留点，为 I-JEPA（单种子运行）恢复了 51.3 个点，并且消融显示仅重播最近的窗口比根本不重播更糟糕。在少样本评估中，相同的内存在 5 路 1 样本 mini-ImageNet 上达到 91.6%，高于特定于任务的基线，而更难的 500 路机制暴露了真正的困难。在第二个系统中，在共享文本图像空间中计算的相同惊喜信号调节视觉语言模型的行为：当一个概念已知时，它会果断地回答；当它部分熟悉时，它会回避；当它是新颖的时，它拒绝识别该对象并要求解释，从单个用户的话语中学习该概念。外部检测器以 0.966 (95% CI +/-0.024) 的 AUROC 区分已知概念和新颖概念，远高于模型自身的语言置信度 (0.618)，而其令牌级别置信度低于贪婪解码下的机会；在清空快速存储的睡眠阶段之后，系统会从整合存储中召回 50 个教学事实中的 99.2%，而基本模型则无法恢复任何事实。我们将这两个系统都报告为概念验证，具有明确的限制，并将第二个系统与最近的情景记忆和个性化 VLM 工作进行对比。