论文
仓库实证:Agentic开发中的Harness多以孤立机制出现
Methodological Harness in Agentic Software Engineering: An Empirical Study on Mining Software Repositories
摘要
背景:Agentic软件工程需要协调和治理Agent工作。推动本研究的框架提出具有八种机制的方法论Harness:上下文工程、持久共享知识、可执行规格、多版本思维与并行Agent、规范性规格、结构化咨询、基于证据的验收,以及分级自主性。这些机制通过规则或上下文文件、规格和架构决策记录等产物实现,但此前未在仓库规模上实证验证。目标:分析Harness在具有Agentic活动的仓库中可被观察到的程度和形式。RQ1通过产物出现比例、覆盖广度、共现与时间演化刻画采用;RQ2分析规则文件这一可观察且持久的指令源,其内容如何反映机制。方法:从包含116211个GitHub仓库的AIDev数据集中,以星数表征知名度或声誉进行分层,分析5435个仓库。RQ1检测并量化七个可观察机制的产物与引入日期;RQ2对150个仓库的规则文件做定性编码。结果:总体至少一种机制的出现比例为21.7%,最可见仓库中为65.3%;多机制配置少见。存在规则文件时,几乎总会指导Agent并规定规范,但持久共享知识、可执行规格、结构化咨询和分级自主性仅见于少数。结论:Harness在经验上可被观察,但主要表现为孤立机制,而不是框架设想的集成体系。