论文
RCL:用于检测企业检索增强代码生成中上下文不足的检索置信层
RCL: A Retrieval-Confidence Layer for Detecting Insufficient Context in Enterprise Retrieval-Augmented Code Generation
摘要
用于代码生成的检索增强生成(RAG)已在公共存储库中进行了广泛的研究,其中模型的参数知识通常可以弥补不完善的检索。这在企业代码库中会出现问题,其中私有 API、内部框架和未记录的团队约定完全不属于任何模型的预训练分布。最近关于私有库代码生成的工作表明,即使是 oracle(完美)检索也不能消除错误,而是定位 API 使用下游的故障;另外,还研究了使用模型内部置信度进行开放域问答的置信门控检索。两者都没有解决检索本身在结构上是否足以在生成开始之前进行私有代码查询。我们引入了 RCL(检索置信层),这是一个插入在检索和生成之间的轻量级模块,它将调用图派生的结构覆盖分数与估计查询对模型先验之外的知识的依赖性的新颖性分数相结合,以在生成发生之前检测检索不足。当置信度低于校准阈值时,RCL 会触发有针对性的后续检索或标记输出以供人工审核,而不是针对不完整的上下文默默生成。我们描述了 RCL 的架构,形式化了其评分函数,并提出了一种使用私有代码基准的评估方法,该基准通过将合成的内部 API 注入开源 Java 存储库而构建,模拟没有专有代码的企业状况。我们报告了将 RCL 与仅相似性检索在生成正确性方面进行比较的结果(第 7 节)。我们的立场是,检索充分性(从结构上评估而不是从模型内部置信度评估)是在私人企业环境中构建更安全的代码生成系统的一个独特且目前未得到充分重视的信号。