技术实践

阿里云以分任务评测和接入位置对照验证运维决策模型

智能体系统模型评测上下文与知识AI 基础设施上下文工程Agent任务评测可观测性模型能力评测

概述

团队从STAROps真实调查轨迹归纳对象选择、信息理解、工具方法、上下文保留及结果检查五类判断,在15788个评分case比较12个内部与外部模型。共同1745条单题输入中,Pilot较Qwen3.8 Flash准确率高2.52个百分点、P95请求耗时短80.3%,该速度包含不同部署及网络条件。低置信度回退按案例五折选阈值,55组模型与任务组合中38组超过较强单模型。完整RCA以DeepSeek v4.1 Flash维持主调查,每组只替换一个决策位置;10题中Decision 1任务分派配置提高6.40分但耗时增9.6%,Pilot根因校验提高2.40分并缩时4.0%。部分均分优势由单题贡献,进展判断配置还存在未触发重规划阈值的情况,不能把完整配置成绩归因于实际未执行的动作。