KDDI以评测抽样和ADK Skills优化Buffmee RAG

KDDI的Buffmee基于图书、杂志和网页等100多个来源提供消费级问答。团队先构建数百项自动评测，关键指标改用通过／失败判定，并按文件格式和图文组成形成二维难度网格，选择代表样本，减少逐文档评估负担。产品负责人将人工抽样答案与自动得分对照，校准上线阈值并分析边缘失败。随后结合BigQuery Agent Analytics和ADK日志分析，检查子Agent路由与超过800行的系统提示，将提示按功能拆为动态加载的ADK Skills。案例自述总体响应延迟下降38%、首Token时间改善近18%、评测工作量下降75%，这些分别对应不同环节，不应互相替代。