论文
关键词很重要:揭示端侧大语言模型提示词的能耗敏感性
Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting
摘要
大语言模型(LLM)越来越多地被部署在移动和嵌入式设备上,以改善隐私并降低网络延迟。然而端侧推理面临一个根本约束:在电池供电、资源有限的硬件上能耗高。尽管模型压缩与运行时加速已被广泛研究,提示词设计对能效的影响仍探索不足。本文对端侧LLM的提示措辞与能耗之间的关系进行了实证研究。基于在智能手机上采集的真实功耗测量,我们量化了语言特征——尤其是祈使性关键词和指令结构——如何影响解码长度和总能耗。结果表明,不同动词和任务之间存在一致的能耗差异,表明提示工程是提升能效的一个轻量杠杆。
