论文
上下文文件对 编码智能体 有帮助吗?真实存储库的双代理消融研究
Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
摘要
持久上下文文件(AGENTS.md、CLAUDE.md)是指导 AI 编码智能体 的标准做法,但其有效性的证据是相互矛盾的。我们提出了跨两个前沿代理(Claude Code 和 Codex)的上下文注入策略的受控消融,来自 3 个存储库的 17 个实际任务(15 个共享 + 2 个仅 Codex),以及 288 次经过标准测试评估的评估运行。上下文策略不会显着改变任一代理的正确性(通过等价测试限制为 <=10-15pp)。故障模式分类揭示了原因:代理在实施技能方面失败——功能设计、模式选择、精确接线——没有丢失上下文文件可以提供的存储库知识;操纵探针确认真正的 AGENTS.md 永远不会将任何一个代理的未遂事件转换为通过。我们进一步表明,边界任务难度是特定于代理的(Spearman rho = 0.75),为先前的矛盾提供了候选解释:单代理研究从不同代理的信息带中提取任务。我们发布所有代码、数据和分析。