关于新兴能力和模型合并

经过微调的检查点和适​​配器现在填充了公共存储库，应用于这些工件的最常见操作是模型合并：对它们的权重进行算术，以廉价地组装功能。我们询问此操作对新兴功能有何影响：工件所携带的行为从来都不是明确的训练目标。研究三个模型系列中的两个独立测试平台（激活预言机和紧急错位模型），我们发现答案有三个。首先，合并保留了父母双方都具有的新兴能力：合并两个未对准的检查点保留了它们在整个混合范围内的大部分广泛未对准。其次，合并不能创建在其父级中具有超累加性的涌现能力：两个单任务预言机的加权合并无法达到联合训练的预言机的审计能力。第三，当只有一个父母拥有该能力时，合并稀释它的速度比伴随它的经过训练的能力更快：在大多数情况下，差距是显着的。简而言之，工件的紧急行为并不像其经过训练的功能那样构成。