论文
LLMSpace:LEO 卫星 大语言模型 推理的碳足迹建模
LLMSpace: Carbon Footprint Modeling for Large Language Model Inference on LEO Satellites
摘要
大语言模型 (LLM) 带来了快速增长的能源需求,造成了由大规模推理驱动的新兴能源和碳危机。太阳能驱动、支持人工智能的低地球轨道 (LEO) 卫星已被提议用于减少地面电力消耗,但由于发射排放、卫星制造和抗辐射硬件要求,其生命周期碳足迹仍然知之甚少。本文提出了 \textit{LLMSpace},这是第一个用于在支持 AI 的 LEO 卫星上进行 LLM 推理的碳建模框架。 LLMSpace 联合对操作和具体碳、外围子系统、抗辐射加速器和存储器以及 LLM 特定工作负载特征(例如预填充解码行为和词元生成)进行建模。使用真实的卫星和 GPU 配置,LLMSpace 揭示了可持续天基 LLM 推理的碳足迹、推理延迟、硬件设计和运行寿命之间的关键权衡。源代码:https://github.com/UnchartedRLab/LLMSpace。