论文

使用基于 LLM 的分层偏好排名重新思考销售线索评分

Rethinking Sales Lead Scoring with LLM-based Hierarchical Preference Ranking

模型训练偏好优化

摘要

由于决策周期较长和多阶段渠道,高风险领域(例如汽车、房地产)的销售线索转化与电子商务推荐有根本不同。传统的潜在客户评分方法(基于规则的记分卡、机器学习或逐点 CTR 模型)面临着严峻的挑战:稀疏监督、非结构化 CRM 日志中的语义差距以及无法捕获相对潜在客户优先级。虽然 大语言模型(LLM) 提供了对客户交互的卓越语义理解,但通用 LLM 不适合潜在客户排名:它们生成文本而不是可比较的分数,并且缺乏与销售渠道的分层优先级的一致性。我们引入了基于 LLM 的销售线索评分判别框架,该框架支持结构化 CRM 功能和非结构化客户交互的联合建模。在此框架之上,我们提出了 HPRO(分层偏好排名优化),它通过分层偏好排名目标来增强销售线索评分。 HPRO 采用边缘感知的 Bradley-Terry 公式将稀疏的二进制标签转换为密集的、漏斗感知的偏好对,从而使线索评分能够利用逐点和成对的监督。对领先新能源汽车品牌的大规模数据进行的实验展示了最先进的分类(AUC 0.8161)和排名性能(排名靠前的领先者的精确度+39.7%)。为期 132 天的在线 A/B 测试验证了销量提升了 9.5%,证实了现实世界的商业影响。