DeltaSelect：经济实惠的编码代理 A/B 测试

编码代理基准是为了广泛和全面的比较而构建的，而不是为了频繁的开发决策。各个运行情况各不相同，全套设备价格昂贵，并且基准Harness可能与实践中使用的Harness不同。在对 DeepSWE 已发布试验的重采样分析中，只有 19.5% 的任务（113 项中的 22 项）与全基准性能的五分位皮尔逊相关性至少为 0.50。该论文提出了 DeltaSelect，这是一种开源方法，它使用 Pearson 相关性识别单次运行结果始终跟踪全基准性能的任务，使用线性回归将分数验证器结果映射到公共分数，并在美元预算内选择固定任务集。 DeltaSelect 旨在在开发过程中反复比较基线与候选者，而不是模型排名。在 gpt-5.6-luna 低推理案例研究中，DeltaSelect 用于修改自定义技能和指令。在 13 项评估中，按 2026 年 8 月 16 日发布的费率计算，记录的成本为 27.86 美元。采用的版本成本比初始版本低 58.1%（1.75 美元对 4.18 美元；p=0.008），而校准分数更高（42.36% 对 36.46%；发布的模拟方差 p=0.326）。