论文
ZO-COSMO:用于分散零阶优化的无索引一跳混合
ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization
摘要
去中心化零阶学习中的稀疏通信需要兼容的对等状态坐标。我们描述了这一单跳条件并开发了 \textsf{ZO-COSMO},将两个查询估计与使用每个活动链接的 $q$ 值的平均保留屏蔽共识相结合。全球支持服务于所有邻居混合;匹配更新仅需要每对内部达成一致。我们在匹配类中推导了急剧的每标量收缩界限,并保证了核心和稀疏动量更新的收敛性。在固定匹配中,精确矩恒等式描述了共享方向如何保持梯度异质性消除并重新分配估计误差和分歧。机构实验涵盖不等曲率、噪声和稀疏动量。进一步的测试涉及 64 美元的合成代理和八名逻辑 Qwen LoRA 工作人员。在匹配的有效负载预算下,Qwen2-7B QNLI 比显式索引 Rand-$k$ 获得了 $3.65$ 的准确度点;与八个工作人员完整图和环形图上的所有邻居混合相比,边缘局部更新获得了 3.42 美元和 2.53 美元点。匹配的第一步消融可带来 3.92 美元点的动量收益。种子感知和相同匹配控制区分编码、调度和查询相关性。