技术实践
阿里云以分任务评测和接入位置对照验证运维决策模型
概述
团队从STAROps真实调查轨迹归纳对象选择、信息理解、工具方法、上下文保留及结果检查五类判断,在15788个评分case比较12个内部与外部模型。共同1745条单题输入中,Pilot较Qwen3.8 Flash准确率高2.52个百分点、P95请求耗时短80.3%,该速度包含不同部署及网络条件。低置信度回退按案例五折选阈值,55组模型与任务组合中38组超过较强单模型。完整RCA以DeepSeek v4.1 Flash维持主调查,每组只替换一个决策位置;10题中Decision 1任务分派配置提高6.40分但耗时增9.6%,Pilot根因校验提高2.40分并缩时4.0%。部分均分优势由单题贡献,进展判断配置还存在未触发重规划阈值的情况,不能把完整配置成绩归因于实际未执行的动作。