论文

对比提示调整生成节能代码的初步探索

An Initial Exploration of Contrastive Prompt Tuning to Generate Energy-Efficient Code

模型训练参数高效训练

摘要

尽管 LLM 能够生成功能正确的代码,但与人工编写的解决方案相比,它们也往往会生成能源效率较低的代码。由于这些低效率导致更高的计算开销,它们与旨在减少代码能耗的绿色软件开发(GSD)工作直接冲突。为了支持这些努力,本研究旨在调查是否以及如何优化 LLM 以促进节能代码的生成。为此,我们采用对比提示调音(CPT)。 CPT 结合了对比学习技术(帮助模型区分高效代码和低效代码)和提示调优(一种参数高效的 微调 (PEFT) 方法),其成本仅为传统 微调 的一小部分。本研究通过三种不同模型评估 Python、Java 和 C++ 编码问题的 CPT,以提供全面的评估。该方法在两个模型的代码准确性方面实现了一致的改进,但效率增益因模型、语言和任务复杂性而异,这表明改进并不总是可靠的。