阿里巴巴淘小蜜以动态选项训练和候选logits实现高并发客服分流

淘小蜜客服Agent需要根据业务边界把对话分为售前、售后、其他和意图不清。团队先尝试通用模型few-shot与7B监督微调，随后改成选择题：训练只预测正确选项字母，推理读取候选token的logits并取最大值，不依赖生成答案文本。标签与26个字母的映射及顺序随机化，以削弱标签先验和位置捷径；线上按标准化候选分数的前两名差距筛选hardcase，标注后用于第二阶段训练。最新迭代修正两万余条样本中的24个错误标签，新增七千余条难例；动态映射Stage 2四分类准确率82.35%、实际分流95.81%。由于后三类最终均进入售后Agent，两项指标不能互换。作者只完成一轮训练，尚需复现实验。部署时同一checkpoint在不同GPU上的结果不一致，最终统一在H20对比，并要求对齐引擎、量化、模板和候选token。团队自报两次双十一压测支撑千级QPS，平均55ms、P99约150ms；有限输出不保证语义正确，相对分数也未经概率校准。