TL++：分布式智能系统的准确性和隐私保护遍历学习

分布式智能系统越来越需要跨数据孤岛进行训练，而不需要集中原始数据。联邦学习将数据保持在本地，但可能会受到异构分区的影响，并且需要重复的全模型交换。分割学习通过剪切层激活减少了通信，但标准协议通常不会恢复集中式小批量梯度行为，并且可能会以明文形式暴露激活和梯度。我们提出了 TL++，一种两种模式的遍历学习框架，它跨节点构建虚拟批次，以在显式同步假设下恢复集中式小批量梯度行为。基本模式交换切层激活和梯度而不是完整模型。安全模式秘密共享协调器和非共谋助手之间的每个剪切层激活和梯度，防止任一服务器观察明文剪切层张量。这种保护仅限于半诚实的双服务器设置；标签和与丢失相关的输出对协调器仍然可见。在这里评估的轻量级安全路径中，精确性需要线性或仿射服务器路径，而非线性操作需要非线性 MPC 或近似。我们将 TL++ 形式化，分析通信和计算成本，并使用完整的 微调 和 LoRA 根据 CIFAR-10 和 BioGPT/PubMedQA 上的联邦和分割学习基线对其进行评估。在 CIFAR-10 上，TL++ 基本切割 1 和精确安全切割 3 的准确度分别为 91.41% (SD 0.19) 和 90.93% (SD 0.17)，比最强测量的非 TL++ 基线高出 12 个百分点以上。相对于全模型同步，TL++ base cut 1 还将每步通信减少了 13.1 倍。 PubMedQA 结果同样有利于 TL++。总体而言，TL++ 接近集中式训练性能，同时减少通信并提供激活级秘密共享。