WitnessGym：构建错误见证的基准编码Agent

错误验证要求编码Agent为报告的错误生成可执行见证。见证者将具体的输入与测试工具相结合，并暴露执行过程中的错误行为。这些证据使审计结果具有可操作性，但当案例重用公共历史错误和证人或需要手动构建时，基准评估就很困难。我们推出了 WitnessGym，这是一个通过错误注入构建错误验证基准的自动化框架。它将错误注入到实际项目的测试到达路径中，重建每个项目，并保留施工时见证人暴露的案例。错误规范和执行适配器允许扩展到其他错误类型和语言。错误保留转换会改变周围的结构，同时保留见证人的行为。基于具有测试套件的真实 Java 项目，WitnessGym 自动构建 1,300 个基准案例。注入的补丁类似于历史错误补丁，并且两个评估模型很难在盲法比较中区分。我们评估了跨错误类型、执行上下文和转换深度的六种框架/模型配对中的四种编码Agent框架。即使 bug 模式已知，证人构建仍然很困难。我们的框架、基准案例和评估脚本可供使用。