MUCOCO：代码 LLM 的自动一致性测试

代码 LLM 通常描述不一致的程序行为。开发人员通常使用基准来评估代码 LLM，但大多数基准都是手工制作的、静态的，并且不针对一致性属性。在这项工作中，我们提出了一个科学问题：如何自动发现代码 LLM 中不一致的程序行为？为了应对这一挑战，我们提出了一种称为 MUCOCO 的自动一致性测试方法，该方法采用语义保留突变分析来暴露代码 LLM 中的不一致行为。给定编码查询，MUCOCO 自动将其程序转换为语义上等效的程序（也称为突变体），并检测突变体和原始程序之间的不一致（例如，不同的输出或测试失败）。我们使用四 (4) 个编码任务和七 (7) 个 LLM 来评估 MUCOCO。结果表明，MUCOCO 可以有效地揭示不一致性，并且优于最接近的基线 (TURBULENCE)。 MUCOCO 生成的大约七分之一 (15%) 输入存在不一致问题。我们的工作激发了测试代码 LLM 一致性属性的需要