RetryRoute：按失败历史和排队负载规划图像编辑模型重试

Web Agent 越来越多地在批评—重试循环中调用开放图像编辑模型，而不同模型的成本可相差一个数量级以上。每次编辑被拒绝后，服务都须决定重试同一模型、升级到其他模型，还是放弃。现有路由器通常为每个请求选择一个模型，级联方法则按固定顺序升级，但二者都把重试看作独立抽样。作者发现“黏性失败”：在六个开放模型、三个基准和两个评判器中，失败后的重试成功率仅为首次尝试的17%–53%。据此提出 RetryRoute，依据请求的失败历史估计各模型的成功概率，并在失败状态上规划重试、升级和放弃；将实时排队等待纳入成本后，同一规划也成为负载感知调度。在主要预算设置下，RetryRoute 在循环内评判器上的成功率，相比11种既有基线中的最强者，在八组实验中平均提高2.8个百分点。在 GPU 服务测试平台的每种负载下，它将服务级别目标内交付的编辑比例，相对最佳既有基线提高5.0–6.3个百分点。