没有共享门或跨Agent梯度的自监督协作视觉专家群体的新兴专业化

神经网络群体能否在Agent之间没有共享门或梯度的情况下形成有用的劳动分工？我们研究了一种设置，其中每个网络都有自己的权重，在相同的异构数据上独立训练，并且可以通过前向传递向另一个Agent寻求帮助。与专家混合不同，联合训练的门将输入分配给专家，这里的专业化必须在没有中央控制的情况下出现。我们在预测视觉预训练的小规模Agent中对此进行了测试。最初，使用冻结 DINOv3 特征的屏蔽预测，在六个视觉域的未标记混合物上对相同的Agent进行微调。我们通过询问输入的最佳Agent是否与其潜在域一致来衡量专业化，并通过询问责任是否分布在Agent之间来衡量利用率。我们逐步消除中央控制，以 DISCO（分布式协作）结束，其中每个智能体在本地选择一个助手，通过无梯度通道读取其内部状态，并仅根据帮助提供的改进来奖励其路由器。专业化出现并且是有用的。随机路由的群体表现不佳，而语义路由的群体则优于单一通才，这表明专业化而不是群体规模推动了收益。专业化在没有中央路由器的情况下仍然存在，无梯度通信让非专家可以利用新兴的专业知识。在 DISCO 中，由专家帮助的随机Agent与独奏多面手相匹配，而专家则超越它，包括在专业混合之外的数据上。本地路由器选择紧急专家来处理 98% 的输入。这些影响在人口规模、模型容量、数据不平衡和微调种子方面持续存在，为分散预测预训练所需的动态提供了可测量的证据。