技术实践
腾讯用Harness改造AiSee用户反馈分类
概述
AiSee 是面向各类业务的用户反馈分析平台,反馈分类是其最基础、使用最频繁的能力。原方案依赖长 Prompt 与逐条定制链路:分类节点、判断条件和例外场景不断累加进 Prompt,特殊场景另开定制逻辑,规则分散、分支膨胀,一次调整牵动多个环节。团队重构后把职责重新划分为业务定义方向、Harness 组织流程、模型做语义判断三层:业务侧为每个分类树节点配置归入条件、排除条件、关键词与优先规则,并提供定向归类(命中即直接进唯一节点)、范围限定(排除无关分类后只在候选范围内匹配)、优先推荐(保留全树但优先候选)、语义归类(默认全量语义匹配)四种强度递减的规则。 Harness 把一次分类拆成还原用户问题、执行业务规则、缩小分类范围、模型理解并选择、复核并记录五个衔接步骤,规则由系统确定性执行,模型只在收窄后的候选范围内比较相近分类,分类依据可保留、调整可先验证后发布、可灰度可回退。效果方面,某业务(覆盖终端 A、终端 B 等多终端,分类树与业务标准持续变化)升级前分类准确率最低一度降至 60%+,升级后经多终端持续验证逐步提升并稳定在 90%+。 正文指出任务被合理拆解后轻量模型同样能完成任务,无需一味追求更大模型。