DumpsterCluster：从垃圾箱潜水到在 60 美元的 GPU 上为 LLaMA-70B 提供服务

随着人工智能数据中心淘汰功能性 GPU，大量仍具有功能的加速器进入二级市场。本文研究了这些退役的 GPU 是否可以找到一个富有成效的来世，形成一个可以为现代 LLM 推理服务的 DumpsterCluster，以及在什么条件下这种重新利用在经济上可行且环境上可持续。我们仅使用二手组件从头开始实际构建了一个 128-GPU DumpsterCluster，并运行了一年。按照当前的市场价格（DumpsterCluster 为 2.2 万美元，8-GPU B200 系统为 60 万美元），经济优势是巨大的。通过管道并行优化，我们基于 V100 的 DumpsterCluster 实现了具有竞争力的 LLaMA-70B 吞吐量，验证了生产可行性。然而，我们的部署揭示了关键的上下文依赖性。较旧的 GPU 每个词元消耗的能源要多得多，因此只有在电力便宜的地区，总拥有成本才有利。在电网平均碳强度下，与当前一代硬件相比，二手系统的 8B 型号每词元产生的总碳排放量高​​出约 4 倍，70B 型号高出 40 倍以上。这些发现表明，GPU 的来世并非普遍可持续——硬件的重新利用必须在战略上与低碳能源相结合。当部署在能源经济和清洁电力有利的地区时，二手 GPU 为扩大人工智能能力提供了一条可行的途径，同时提高了可负担性、能源安全和环境责任。