刻画LLM生成的胜任力问题：一项使用开放与闭源模型的跨领域实证研究

胜任力问题（Competency Questions，CQ）是本体工程中需求获取的基石。CQ将需求表示为本体应满足的一组自然语言问题；传统上由本体工程师与领域专家共同制定，是以人为中心的手工获取过程的一部分。生成式AI的使用使CQ的大规模创建自动化，从而让生成过程大众化，扩大利益相关者的参与，并最终降低本体工程的准入门槛。然而，鉴于LLM生态庞大且异质，在参数规模、任务与领域专门化、可及性等维度上各不相同，有必要通过系统性、跨领域的分析来刻画并理解其所生成CQ的内在可观测属性（如可读性、结构复杂度）。本文引入一组定量度量，用于跨多个维度系统地比较CQ。利用从明确定义的用例和场景生成的CQ，我们识别其显著属性，包括可读性、与输入文本的相关性以及所生成问题的结构复杂度。我们在一组用例和需求上，使用多种LLM开展实验，既包括开放模型（KimiK2-1T、LLama3.1-8B、LLama3.2-3B），也包括闭源模型（Gemini 2.5 Pro、GPT 4.1）。我们的分析表明，LLM的表现反映出由用例塑造的不同生成特征。