开源项目
PyTorch为AOTI部署交付按形状惰性捕获CUDA Graph的运行接口
[AOTI] Add a C API to run models as CUDA graphs
概述
PyTorch是模型训练与部署框架。202228的图管理器与202229的编译安全检查通过202231接入C API和Python运行入口,203116补齐输入复制。编译时需aot_inductor.cudagraphs=True,并拒绝不安全变更、RNG、CPU及多设备等路径;旧产物调用新API会提示重建。运行先预热,再按shape、dtype和stride捕获,默认最多8图,超限形状走eager;实例内串行复用图,输入复制和输出克隆防止下次重放覆盖结果。常量捕获后不能更新,首次捕获时并发改常量未解决;ROCm和cudaMallocAsync有支持限制。作者B200/CUDA13完成定向测试,但没有端到端部署速度收益测量。PR以ghstack关闭时刻配合默认分支提交53b8994核定交付日,不将仅管理器合入提前算完整能力。