论文
GateDiffInt：用于用户行为建模的门介导的可控扩散和多意图 LLM 蒸馏
GateDiffInt: Gate-Mediated Controllable Diffusion and Multi-Intent LLM Distillation for User Behavior Modeling
摘要
现有的排名模型仅隐式地编码意图，因此很难区分不同强度和时间尺度的结构化意图。行为序列中的噪音和意图是相辅相成的——我们称之为噪音——意图耦合（NIC）。噪声会淡化真实意图，而缺乏结构化先验意图则导致去噪没有明确的目标。为了解决NIC问题，我们提出了GateDiffInt，一个用于工业排名的意图交互框架。它使用最终的转换信号来联合对齐序列去噪和意图提取。 GateDiffInt 应用具有双门控的可控前向扩散过程来增强行为序列并对其进行降噪。然后，大语言模型 充当老师，提炼出四种结构化意图——长期、短期、潜在和转换为轻量级学生模型。增强的序列和结构化意图表示通过注意力深度融合，以生成用于转化率预测的意图感知表示。对公共和大型工业数据集的广泛实验表明，在强基线上取得了一致的收益。在为数亿日常活跃用户提供服务的在线 A/B 测试中，GateDiffInt 实现了 GMV 的大幅改进，并已部署到主要流量，确认了有效性和生产准备情况。