论文
RepoNorm:获取并核验编码 Agent 的仓库规范
Acquiring and Verifying Repository Norms for Coding Agents
摘要
通过编码智能体产生的更改可以通过功能测试,同时未满足存储库贡献要求。遵循特定于存储库的规范需要确定分散在存储库来源中的指南并解释其条件和例外情况。检索和文档方法提供一般背景,但智能体仍必须确定适用哪些规范。我们引入 RepoNorm 来获取独立于编码任务的显式和隐式存储库规范。它使用存储库证据检查规范内容和适用性,在需要时查阅 Git 历史记录,并将规范包提供给现有编码智能体。我们的评估使用 RepoNormBench 中的三个编码模型和 121 个任务。与没有额外生成指导的基线(原始)相比,总体规范合规率 (NCR) 的相对改进为 7.42-10.77%,贡献 NCR 的相对改进为 31.64-45.44%,提示忽略的 NCR 的相对改进为 11.34-17.69%。与 CodeWiki 文档相比,所有三种编码模型在使用 RepoNorm 的 NCR 度量上也获得了更高的值。观察到的功能成功率比 Raw 提高了 5.79-9.09 个百分点;配对比较未达到显着性阈值。使用 RepoNorm 的默认配置,采样的 精度 为 86%。
