超越边缘：超低功耗无线设备上的 Transformer 模型的分布式推理

Transformer 模型正在迅速成为现代物联网 (IoT) 应用的基石，但其计算和内存需求远远超过单个典型超低功耗 IoT 设备的能力。我们提出了 CATS，这是一种在超低功耗无线设备上进行分布式 Transformer 推理的框架，使多个设备能够协作执行远大于单个设备所能承受的模型。 CATS 的核心是一种通信感知分布式 Transformer 推理方案，是跨 Transformer 分区、无线通信和训练共同设计的。它采用了 SomeGather，这是一种新的经过修剪的通信原语，可以选择性地广播激活列，以减少通信带宽和 RAM 使用量，而不会牺牲模型的准确性。在 SomeGather 的基础上，我们设计了一种分区方法，利用该原语实现高效的模型并行性。为了应对不可靠的无线通信，CATS 在训练期间采用消息丢失，模拟数据包丢失并生成在推理过程中对消息丢失具有鲁棒性的模型。在实际实验中，我们表明 CATS 首次将分布式 Transformer 推理引入超低功耗无线设备，可部署在多达 16 台设备上，协同执行 Transformer 模型，其大小比单个设备运行的模型大 14 倍。