ScaleToT：面向十亿级低活跃用户建模的结构化LLM推理泛化

摘要

准确的用户建模常依赖丰富交互历史——而数十亿低活跃用户没有。大语言模型（LLM）能从静态画像推断潜在用户状态——但画像稀疏时该推理不可靠——且把LLM应用于数十亿用户成本过高。我们提出ScaleToT——从小的LLM处理子集学习结构化推理——并将其扩展到更广的低活跃用户群体。为提升推理可靠性——ScaleToT以有界熵引导的思维树（ToT）精化程序构建带类型用户状态链。为使该结构化推理可从稀疏画像使用——教师策展的链被用于经监督微调（SFT）与结果驱动段感知隐式奖励策略优化（OSIPO）在静态画像上训练学生模型。ScaleToT随后把学生的推理表示迁移到轻量画像编码器——为其余用户提供共享推理信号而无需LLM推理。我们在十亿级广告部署的终身价值（LTV）预测上评估ScaleToT。随机化在线A/B测试使LT30提升6.738%——而离线推理仅覆盖潜在大群的7.32%——相较全量推理大幅降低计算成本。

ScaleToT：面向十亿级低活跃用户建模的结构化LLM推理泛化：论文配图 — 图 2：ScaleToT 概述。该框架有两个阶段。 (1) 结构化推理构建：教师构建具有有界 ToT 的类型化用户状态链，学生学习通过 SFT 和 OSIPO 从稀疏配置文件生成这些链。 (2) 用于群体规模推理的推理传输：轻量级配置文件编码器将每个稀疏配置文件映射到用户特定的表示，并使用它从 VQ 码本中检索共享推理表示；然后，配置文件调节的门网络结合用户特定的和检索到的表示进行预测。在广告 LTV 实例化中，每个链包含 K=5K{=}5 个生命周期字段。