使用生成建模探索论坛帖子检索

生成推荐（GR）已经成为基于嵌入的检索的替代方案，建立在语言和视觉生成模型成功的基础上。我们正在 Facebook 论坛上探索 GR，这是一个面向 Facebook 群组中重度用户的独立应用程序。由于 Forum 是一个新的界面，其自身的交互数据太稀疏，无法从头开始训练 GR 模型。我们通过沿着两个轴进行传输来解决这个问题：我们在更广泛的 Facebook 群组参与语料库上进行训练，而不仅仅是论坛会话，并且我们重用从跨平台 Facebook Feed 数据中学习到的分层的、基于前缀的语义 ID (SID)，而不是安装特定于论坛的标记器。然后，对 3B 参数指令调整语言模型进行监督微调，以直接从用户上下文生成 SID。我们系统地消除了实践中最重要的设计选择，包括 SID 构造、用户历史记录的组成和长度以及用户配置文件功能的包含。我们的结果表明，跨平台 SID 转移到新的推荐界面，并为团队在现实世界的社交平台上部署 GR 提供实用指导。