用于程序分析和优化的基于 LLM 的嵌入

最近的进展凸显了机器学习，特别是 大语言模型 (LLM) 在分析和优化程序方面的潜力。我们展示了 LLMCompiler 程序嵌入的第一个应用（在中间表示 (IR) 代码上进行大规模预训练的 LLM）到代表性程序分析和优化任务。我们使用一种简单的方法直接从源代码和 IR 代码生成程序嵌入：将程序分割成块，用预训练的 LLM 独立嵌入每个块，然后将块嵌入聚合成单个程序嵌入。我们的实验表明，结合源代码和 IR 代码嵌入，算法分类的错误率达到 1.54%，比当前最先进的技术提高了 12%，并且在异构设备映射方面具有竞争性的精度。这些发现表明，训练用于嵌入 IR 代码的性能感知 LLM 可能会在代码优化任务中产生最先进的结果。