情境学习放大了潜在的符号回路

大语言模型可以从一些上下文示例中学习抽象规则，但随着示例的积累，它们的内部机制如何激活尚不清楚。我们在三个模型系列中的镜头计数中跟踪三阶段符号推理电路（抽象、归纳、检索），发现它在模型达到高精度之前就可以很好地检测和运行。从 1 次到 10 次射击，每头因果贡献增长至 8 倍，交叉射击激活修补将 0 次射击的准确率从 1% 提高到 56%，将 1 次射击的准确率从 17% 提高到 88%。函数向量以高达 86% 的 0-shot 救援精度缩放和注入，很大程度上取代了诱导阶段，但关键取决于完整的下游检索阶段。在任何演示之前，权重中都存在抽象规则遵循的基础设施；上下文示例、函数向量和相关干预措施似乎为同一潜在回路提供输入。