Q-ARE：基于查询的 API 推荐的评估数据集

随着软件系统规模的扩大，开发人员在从众多选项中选择合适的应用程序编程接口 (API) 时面临着越来越大的困难。有效识别满足功能需求的 API 已成为关键挑战。为了评估现有基于查询的 API 推荐方法的语义理解，本文构建了 Q-ARE（基于查询的 API 推荐评估），这是一个基于 GitHub 开源 Java 项目的数据集。通过分析方法及其调用链，识别目标方法直接或间接调用的第三方API，递归扩展多级调用，将分层调用结构统一为API推荐目标集。此外，我们引入了两个指标：API调用深度，测量查询方法和目标API之间的调用距离；以及调用密度，量化调用链中与目标API相关的代码行的比例。基于Q-ARE，我们系统地评估了几种基于查询的API推荐方法和通用大语言模型（LLM）。结果表明，随着 API 调用深度的增加和调用密度的降低，性能显着下降，这表明现有方法仍然难以应对多级方法调用结构。 Q-ARE 及其指标为评估 API 推荐中的语义理解提供了新的基准，并为改进未来算法提供了见解。