LLM 支持的预测决策可实现可持续数据中心运营

对人工智能驱动的工作负载的需求不断增长，特别是来自 大语言模型 (LLM) 的需求，引起了人们对数据中心大量能源和资源消耗的担忧。这项工作介绍了一种新颖的基于 LLM 的预测调度系统，旨在提高运营效率，同时减少数据中心对环境的影响。我们的系统利用 LLM 来预测关键指标，例如来自源代码的执行时间和能耗，并且它有可能扩展到其他以可持续发展为重点的指标，例如冷却用水量和碳排放量，前提是数据中心可以跟踪此类数据。预测模型之后是分配 GPU 资源的实时调度算法，旨在通过优化能耗和排队延迟来提高可持续性。凭借快速的推理时间、泛化不同任务类型的能力以及最少的训练数据要求，我们的方法为数据中心调度提供了实用的解决方案。该框架展示了在人工智能驱动的基础设施中推进可持续发展目标的巨大潜力。通过与数据中心的合作，我们实现了能源消耗减少 32%，等待时间减少 30%。