论文

AI IDE 中的规则分类和演变:挖掘和调查研究

Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study

模型评测模型行为与机制分析

摘要

采用人工智能驱动的集成开发环境 (AI IDE) 引入了“规则”作为一种新颖的软件工件,允许开发人员持续将项目特定的约束和架构指南注入到 大语言模型 (LLM) 的上下文中。尽管它们在使人工智能行为与开发人员意图保持一致方面发挥着作用,但这些规则的分类、演变和实际影响在很大程度上仍未得到探索。为了弥补这一差距,我们对 AI IDE 规则进行了混合方法实证研究。通过挖掘 83 个开源项目并提取 7,310 条规则,我们建立了一个包含 5 个主要类别和 25 个次要类别的综合分类法。然后,我们根据 99 名从业者的调查反馈对这些工件进行了三角测量。我们的分析确定了开发人员优先级和实际配置之间的对比:虽然从业者将架构约束视为非常重要,但存储库中的规则文件主要由底层工作流程和代码格式约束组成。此外,我们对 1,540 个规则演变事件的分析表明,规则更新频繁。存储库数据进一步表明,规则演变主要是由建设性上下文扩展(29.17%)和丰富(26.59%)驱动的。相比之下,接受调查的开发人员报告修改规则主要是为了纠正人工智能错误(77.78%),通常是通过添加新的负面约束而不是编辑现有的约束。最后,对 160 个规则演变事件的工件合规性评估表明,更新规则显着提高了软件工件的遵守率,更新后平均工件合规率增加了 22.99%(从 49.14% 到 72.13%)。我们的研究提供了实证见解,可以帮助开发人员优化提示策略,并指导工具构建者为 AI IDE 设计自动冲突检测和上下文管理机制。