技术实践
Amazon用Strands Decider标注工单,以双路对照和配置开关控制替换
概述
Amazon内部工单系统原用Claude Sonnet 4.6把升级请求、容量申请、告警和安全发现等归入20类。团队先试Strands Decider 2B,再以独立工单集比较,改用Gemma 4 E4B版本并调节置信门槛。它不生成解释文本,只返回选项概率,因此团队将长标签目录压为每类一两句,加“none”选项;超过4096 Token时丢弃最早评论。请求经SQS触发Lambda,再调用SageMaker上的A10G端点,容器禁出网,AppConfig逐消息读取BEDROCK、DUAL或DECIDER三态:双路阶段仍采用Sonnet标签,逐项比较分歧,配置可约45秒回退。报告平均调用从4215降至897毫秒;单实例约640毫秒是另一个服务测量口径。按公开按需列价和实际预留突发余量估算,百万票成本约22200美元降至500美元,非经审计净节省。相同内容仅改JSON键序,概率最多变化0.19,因此请求统一排序。该替换适合固定类别、高吞吐、无需解释且上下文可压缩的任务,不能据此推广到所有工单。