技术实践

Cloudflare通过共享缓存前缀与审查流程调整降低AI代码评审成本

上下文与知识AI 基础设施应用与实践上下文工程推理服务编程

概述

Cloudflare复盘内部多Agent代码评审系统的成本优化。此前固定提示与仓库目录、日期混在同一缓存块,跨仓库无法复用;团队拆出稳定前缀并单独设置缓存断点,让多个仓库和代码、安全、性能审查器共享缓存。它还把固定规范索引前置,移除子审查器无权调用的发评论工具,合并文件读取,对没有新变化的重复审查跳过相应成员,发出结果后立即结束,并检查已取消任务以停止剩余调用。模型及推理强度通过分流实验调整。团队报告平均成本从最贵两周的2.43降到0.77美元,降低68%,中位耗时从4分09秒降至1分32秒。质量检查同时对照作者后续修改及盲评样本:高强度代码质量审查保留了接近原有的重要发现,性能审查在中等强度下仍丢失部分真实问题。该案例不支持将降成本等同于质量完全不变。