幻觉检查员：API 迁移的事实核查法官

摘要

大语言模型 (LLM) 越来越多地部署在自动化软件工程中，用于 API 迁移等任务。虽然 LLM 能够识别迁移模式，但它们经常会犯错误，并且无法生成正确的粘合代码来调用新 API 来代替旧 API。我们将此问题称为脚手架幻觉，这是一种故障模式，模型通过发明 API 规范中不存在的幻像符号（例如虚构的导入、构造函数和常量）来生成不正确的调用上下文。在本文中，我们表明不能依赖标准指标来检测这些幻觉实例。我们提出了 Hallucination Inspector，这是一种静态分析工具，用于检测 LLM 生成的代码中的脚手架幻觉。我们的方法包括一个轻量级评估框架，该框架可以根据直接从 API 软件文档派生的知识库来验证从抽象语法树中提取的符号。对 Android API 迁移的初步评估表明，与标准指标和概率判断相比，我们的方法成功识别幻觉并显着减少误报