提示变化如何影响设备上 LLM 的能耗？

大语言模型 (LLM) 越来越多地部署在移动设备上，这使得能源效率成为关键的部署限制，但即时设计的能源影响仍未得到充分研究。本文旨在了解认知负荷和措辞模式这两个提示属性如何塑造设备上 LLM 推理的能量行为。我们进行了广泛的实证研究，涵盖提示属性、数据集、模型和设备，以及分离预填充和解码能量的相级分析。我们发现认知负荷主要影响每个词元的能量成本，而措辞模式主要通过词元的使用影响能量。我们的能量质量分析进一步表明，即时设计以不同的方式重塑了不同模型的可达到边界，凸显了在节能设备上 LLM 推理中对模型感知即时设计的需求。代码、数据集和脚本可在 https://amai-gsu.github.io/PromptProperty/ 获取。