技术实践

淘宝交易以LLM工作流日常巡检用户反馈

应用与实践上下文与知识知识库行业应用通用理解与问答

概述

交易终端团队把原本由各业务线专人逐条查看的用户反馈巡检改为 AI 工作流:采集侧沿用淘内现有的吐槽吧渠道,清洗侧在魔兔平台业务初筛之外再用人工巡检关键词回捞一遍以避免遗漏,结构化后投喂给 LLM。判断侧用「识别要素→判定意图与情感→知识库语义匹配→闭环学习」四步,第一步由 LLM 从反馈中抽取「谁/什么+怎么了」(如「评价页面」+「打不开」),第二步判定是提建议、报故障还是提问并识别情绪正负,第三步强制模型只在人工构建的业务问题分类库中匹配、不得自造类别。 预警侧支持按业务线、问题类型、时间维度配置规则:某类问题当日首次出现或绝对数量超阈值触发「新增舆情」告警,与过去 7 天均值等历史基线对比、环比增长超设定比例(如 50%、100%)触发「激增预警」。每日定时把问题类型、当前数量、环比变化、典型反馈摘要与跳转链接推送到对应钉钉群,并搭建了支持按时间趋势、业务模块、问题类型、平台版本下钻的可视化看板(总量概览、环比对比、问题分布、预警列表、原始反馈明细)。 归因与复盘环节仍在持续建设中。