碳税 Transformer：针对过度增长的语言模型的绿色压缩管道

大语言模型 (LLM) 在软件工程 (SE) 中的加速采用带来了一场无声的危机：不可持续的计算成本。虽然这些模型在不同的 SE 任务中展示了卓越的能力，但它们体积庞大、部署缓慢、内存密集且碳含量高，难以管理。这一现实不仅威胁到人工智能驱动的 SE 的可扩展性和可访问性，还威胁到其长期的环境可持续性。研究挑战很明显：我们必须超越准确性，并将效率和环境成本作为一流的设计约束。为了应对这一挑战，我们引入了碳税 Transformer (CTT)，这是一种受经济碳税原则启发的系统性多架构压缩原理管道排序。 CTT 借鉴碳定价的经济概念，实施计算碳税，惩罚架构效率低下并奖励部署就绪的压缩。我们通过三个核心 SE 任务评估 CTT：代码克隆检测、代码摘要和代码生成，模型涵盖仅编码器、编码器-解码器和仅解码器架构。我们的结果表明，CTT 的推理能力：(1) 内存减少高达 49 倍，(2) 克隆检测时间减少高达 8-10 倍，摘要时间减少高达 3 倍，生成时间减少 4-7 倍，(3) 二氧化碳排放量减少高达 81%，(4) CTT 在克隆检测方面保持约 98% 的准确率，在摘要方面保持约 89% 的准确率，以及高达 91%（文本指标）和68% (pass@1) 生成。两项消融研究表明，管道排序和各个组件的贡献都很重要，为 CTT 的设计和有效性提供了经验依据。这项工作通过积极但保持性能的压缩，为 SE 中负责任的 AI 建立了一条可行的道路。