基于 LLM 的环境分析的能源足迹：LLM 和领域产品

随着 大语言模型 (LLM) 越来越多地用于特定领域的应用，包括气候变化和环境研究，了解其能源足迹已成为一个重要问题。越来越多地采用检索增强 (RAG) 系统进行气候领域特定分析，这引发了一个关键问题：特定领域 RAG 工作流程的能耗与直接通用 LLM 使用的能耗相比如何？先前的研究主要集中在独立模型调用或基于词元的粗略估计上，而对已部署应用程序工作流程的能源影响没有充分理解。在本文中，我们与通用 GPT-4o-mini 模型相比，评估了两个基于 LLM 的气候分析聊天机器人（ChatNetZero 和 ChatNDC）的推理时间能耗。我们通过将每个工作流程分解为检索、生成和幻觉检查组件来估计实际用户查询下的能源使用情况。我们还针对一天中的不同时间和地理位置进行测试。我们的结果表明，特定领域 RAG 系统的能耗很大程度上取决于其设计。更代理的管道大大增加了推理时间的能源使用，特别是当用于额外的准确性或验证检查时，尽管它们可能不会在响应质量方面产生成比例的增益。虽然需要更多的研究来进一步跨模型、环境和提示结构更稳健地测试这些初步发现，但这项研究提供了对特定领域 LLM 产品的设计如何影响能源足迹和输出质量的新理解。