LLMLOOP：通过自动迭代反馈循环改进 LLM 生成的代码和测试

大语言模型（LLM）在生成源代码方面表现出了出色的性能，但生成的代码经常出现编译错误或代码错误等问题。研究人员和开发人员在实施检查和改进 LLM 生成的代码时经常面临浪费精力，经常重复工作。本文介绍了 LLMLOOP，这是一个自动细化 LLM 生成的源代码和测试用例的框架。 LLMLOOP 采用五个迭代循环：解决编译错误、解决静态分析问题、修复测试用例失败以及通过突变分析提高测试质量。这些循环确保生成高质量的测试用例，这些测试用例既充当验证机制，又充当生成代码的回归测试套件。我们在 HUMNE​​VAL-X（最近的编程任务基准）上评估了 LLMLOOP。结果证明了该工具在细化 LLM 生成的输出方面的有效性。