开源项目

Dynamo在离线流量回放中联合调优路由与Planner参数

Experimental simulation-only engine-owned retune loop

AI 基础设施AI 开发与运维平台

概述

Dynamo在Planner中加入RetuneController,按窗口读取dynamo.request.trace.v1录制流量,对可在运行时更改的路由策略与Planner参数逐个回放,以每GPU的SLA有效吞吐评分,超过最小改进阈值才应用最佳点。候选有并行上限与超时,决策时延可固定或按搜索实际耗时估计,预测器通过历史窗口预热。 本次主线只接通离线模拟宿主,在线Planner启动时拒绝retune。advisory模式仅记录建议,不再错误改变模拟副本数。早期RAGPulse实验报告约3.2至3.3%有效吞吐/GPU收益,但在最终确定性修正之前测得;固定AISimulate版本仍有SLA模式跨进程微小差异,严格重放测试保留预期失败,不能把早期收益当最终可复现保证。