论文

提高效率:用于高效代码生成的结构化骨架监督

Chiseling Out Efficiency: Structured Skeleton Supervision for Efficient Code Generation

模型训练监督微调与指令调优

摘要

大语言模型 (LLM) 能够生成语法正确且功能完整的程序,极大地简化了软件开发。然而,最近的研究表明,这些程序的执行速度通常比人类优化的程序要慢得多。弥补这种效率差距的现有方法通常涉及在生成后迭代优化代码或在高效代码语料库上建立 微调 模型。然而,这些方法仅通过模仿完整的优化解决方案来将模型暴露给效率信号,而没有显式编码实现高运行时性能所必需的结构代码模式。解决这一差距提出了两个核心挑战:(1)提取和表示嵌入复杂语法和控制流中的潜在的、以效率为导向的结构模式,以及(2)有效地学习这些模式,而不破坏 LLM 的语义训练的稳定性。为了应对这些挑战,我们提出了 EffiSkel,这是一种效率骨架引导框架,它通过利用三种互补策略来显式提取和学习效率骨架(支撑高效代码的抽象、可重用结构模式)。这些骨架被集成到一个多任务学习机制中,共同优化代码生成和骨架预测。跨多种编程语言和基准测试的实验表明,EffiSkel 显着增强了功能正确性和效率,使得配备 DeepSeek-Coder (7B) 的 Mercury 效率比 (ER) 提高了 +11.11%(相对于 EffiCoder)和 +3.71%(相对于 CodeDPO),平均值提高了 +0.36(相对于 EffiCoder)和 +0.22(相对于 CodeDPO)加速比 (AS)。这些结果凸显了显式建模效率骨架在提高 LLM 生成的代码的运行时性能方面的有效性。