论文

InitGen:智能助理中交互启动的候选生成

InitGen: Candidate Generation for Interaction Initiation in Intelligent Assistants

模型训练偏好优化

摘要

交互发起是指当用户打开智能助手时,在表达当前会话的任何意图之前,呈现多个候选查询。在生产中,候选生成结合了动态上下文,并在严格的延迟预算内生成所有候选。从用户反馈中学习也很困难,因为生成器通常会产生比最终显示的更多的候选者。经过下游过滤和排序后,只有一个子集暴露给用户,因此观察到的反馈是部分的,无法可靠地分配给各个查询。我们提出了 InitGen,这是一个候选生成框架,部署在 OPPO 小步助手的交互启动管道中。 InitGen 联合生成一组候选查询,并通过加权偏好优化将生成的集合与用户反馈对齐。样本权重源自用户活动和下游排名分数。活动权重降低了训练期间高度活跃用户的主导地位,而排名分数则用作观察反馈可靠性的实际估计。 InitGen 还使用滚动窗口更新策略将最近的交互数据合并到定期模型更新中。在针对强大生产基线的在线 A/B 测试中,InitGen 将点击率从 0.95% 提高到 1.61%,相对提高了 69.1%,在相同流量分配下,查询曝光率提高了 17.9%。 InitGen 在 180 毫秒内生成完整的候选集,并已全面部署在 OPPO 小布助手中,服务月活跃用户超过 1.5 亿。