将 编码智能体 限制为执行代码何时有帮助？ $\times$ 代理设计消融机制
When Does Restricting a Coding Agent to execute_code Help? A Regime $\times$ Agent-Design Ablation
摘要
现代 编码智能体 公开了多个工具表面——IDE 原语、bash 和模型上下文协议 (MCP) 代码执行——并且该领域已经提出了三种相互矛盾的主张，而关于哪一种重要。我们运行缺失的交叉比较：在合成计算任务和 SWE-bench Mini 修改任务上进行完整性清洁的三臂消融（基线/bash_only/code_only），保持模型、Harness和提示固定，使用两个代理（Claude Code、OpenAI Codex CLI），因此比较跨越制度和代理设计轴。在四个生成的（制度、代理）单元中，将代理限制为单个执行代码 MCP 工具比三个单元中最便宜的工具丰富的竞争对手（在 Artifact/Claude 和 SWE-bench/Codex 上显着；在 Artifact/Codex 上明显；在 Artifact/Codex 上明显）更便宜，或者在统计上与最便宜的工具相匹配，并且每个单元内的通过率在统计上都相关。唯一的例外是 SWE-bench/Claude，其中 code_only 的定向成本更高（+14.4%，不显着）；条件成本分析将失败成本的差距定位在注定运行的轨迹上，而不是成功运行的每次编辑税。有两个含义：最便宜的工具表面是由任务机制和代理设计共同确定的，而不是单独由任一轴决定的，并且主要成本信号存在于缓存调整成本中，而不是通过率，在我们评估的模型大小下，通过率在表面上是不变的。基准测试工具、任务套件和分析代码可在 https://github.com/hyang0129/onlycodes 上获取。