论文
上下文增强代码生成:产品上下文如何将 AI 编码智能体 决策合规性提高 49%
Context-Augmented Code Generation: How Product Context Improves AI Coding Agent Decision Compliance by 49%
摘要
由 大语言模型 提供支持的 AI 编码智能体 可以读取代码库并生成功能代码,但它们通常会违反仅在源代码中不可见的特定于团队的产品决策。我们引入了一个受控基准来衡量决策合规性,即 AI 编码智能体 在包含 41 个加权决策点的 8 个实际软件工程任务中遵循既定产品、设计和工程决策的速度。我们将基线配置(仅具有代码库访问权限的 Claude Code)与添加 Brief 的增强配置进行比较,该配置是一个产品上下文检索系统,提供规范生成、中期构建咨询以及记录决策、角色痛点、客户信号和竞争情报的检索。在相同的提示和相同的存储库上,增强配置实现了 95% 的决策合规性,而基线为 46%,提高了 49 个百分点。每个决策分析显示,基线对代码库中可见的决策实现了 100% 的合规性,对需要产品上下文的决策实现了 0-33% 的合规性,这表明产品上下文检索是改进的关键驱动力。我们发布了基准存储库、所有 16 个拉取请求以及用于独立复制的评分工具。