论文

关键词很重要:揭示端侧大语言模型提示词的能耗敏感性

Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting

模型评测模型能力评测

摘要

大语言模型(LLM)越来越多地被部署在移动和嵌入式设备上,以改善隐私并降低网络延迟。然而端侧推理面临一个根本约束:在电池供电、资源有限的硬件上能耗高。尽管模型压缩与运行时加速已被广泛研究,提示词设计对能效的影响仍探索不足。本文对端侧LLM的提示措辞与能耗之间的关系进行了实证研究。基于在智能手机上采集的真实功耗测量,我们量化了语言特征——尤其是祈使性关键词和指令结构——如何影响解码长度和总能耗。结果表明,不同动词和任务之间存在一致的能耗差异,表明提示工程是提升能效的一个轻量杠杆。

关键词很重要:揭示端侧大语言模型提示词的能耗敏感性:论文配图
图 1:实验流程概述。提示是通过关键字替换从文本生成和情感分析任务构建的,然后在两个边缘平台 Google Pixel 9a | 上执行。 Android 15 和 Orange Pi 5 Pro | Ubuntu 22.04,用于设备上推理和能量分析。