编码智能体 配置文件中的指令遵循:四个文件结构变量的阶乘研究
Instruction Adherence in Coding Agent Configuration Files: A Factorial Study of Four File-Structure Variables
摘要
Frontier 编码智能体 在会话启动时读取配置文件(CLAUDE$.$md、AGENTS$.$md、光标规则),并期望遵循其中的约定。从业者假设结构选择(文件大小、指令位置、文件架构、相邻文件中的矛盾)会显着影响依从性。我们使用四个操纵变量报告了对这些选择的系统析因研究,测量了两个 TypeScript 代码库、三个前沿模型(主要是 Sonnet 4.6,Opus 4.6 作为 CLI 匹配的跨模型检查,Opus 4.7 在 CLI 版本混淆下进行描述性报告)和五个编码任务的 1,650 个 Claude Code CLI 会话(16,050 个功能级观察)中对简单目标注释的遵守情况。我们使用带有贝叶斯同伴的混合效应模型。经过多重测试校正后,四个结构变量或三个双向相互作用都没有产生可检测的对比度。大小和冲突零点由肯定零贝叶斯因子支持(BF10 在 0.05 和 0.10 之间);位置和架构空值是在没有贝叶斯因子支持的情况下无法拒绝的。我们测量的最大效果是会话内的:在我们测试的会话长度范围内,代理生成的每个附加功能都与每步的合规几率降低约 5.6% (OR = 0.944) 相关,尽管这种关系是非单调的,而不是恒定的每步效果。这在第二个 TypeScript 代码库和匹配配置的 Opus 4.6 上重现;它是在分析过程中确定的,而不是预先指定的。在测试的条件下,文件结构变量没有产生可检测到的对比;编码任务之间以及每个会话的生成函数序列之间的合规性会系统地变化。