SeqLLM：通过行为序列建模增强 LLM，以实现微信支付的高风险决策

大型支付平台的商户风控每天都会对数千万商户进行筛查，误报会损害合法商户的利益，漏报会导致不良行为未被发现。最困难的情况需要共同理解商家的文本资料和长行为序列。 大语言模型 (LLM) 擅长文本，但无法对此类序列进行本机建模，而调整它们通常会导致灾难性的遗忘。我们提出了 SeqLLM，这是一个框架，它将行为序列建模添加到预训练的 LLM 中，同时保留其语言能力。 SeqLLM 结合了三个组件：一个紧凑的离散词汇表，将行为事件表示为本地标记；一个轻型投影仪，经过两阶段对齐课程的训练，将这些标记置于 LLM 的语义空间中；前缀引导的能力注入，通过任务前缀的监督 微调 而不是连续的 预训练 来获得序列建模能力。 SeqLLM部署在微信支付上，每天筛选数百万商户。与基于 DeepSeek 的 LLM 生产基线相比，它将筛选精度从 92.0% 提高到 97.5%。在服务于数十亿规模交易流量的生产欺诈检测器中，其预训练的行为词元嵌入还将 Precision@Top-0.01% 提高了 26.8 个百分点。除了支付之外，SeqLLM 在公共推荐基准上也取得了最先进的结果。在 MovieLens 和 Amazon 上，它相对 Recall@5 超过了强大的 User-LLM 基线高达 32%，同时保留了明显更强的语言能力。在 RecIF 上，它仅使用五分之一的 GPU 天数，将 Pass@32 比完整 OneRec-8B 管道提高了 14.2%。