技术实践

阿里云以统一评测和失败回归驱动Agentic SOC持续改进

应用与实践智能体系统Agent HarnessAgent任务评测编程AI赋能网络安全

概述

阿里云Agentic SOC团队围绕生产调查任务形成持续改进链路:线上失败转为样本,评测定位差距,Agent提交候选修改,再经过复测、独立测试、生产重放和灰度验证决定是否发布。一次攻击者与受害者被写反的问题,促使团队把角色及判定结果改为共享结构字段,由报告、时间线和处置建议共同读取,并将该场景纳入回归。SOCBench在材料所述阶段包含211个真实调查任务、16类事件,并以9个维度评价5个调查阶段。团队提前定义目标、质量、权限和停止边界,由统一Owner贯穿交付;自报平均周期从50.9天降至13.8天,材料未提供同期随机对照。这里收录的是企业评测与组织协作方法,不据此声称Agent已实现RSI。