ID2Pattern以匿名身份复现模式预训练跨身份交易表征

大规模行为预训练为在线支付系统学习可泛化表示提供了有前景的路径。然而，银行卡、设备和账户 ID 等高基数字段虽然包含丰富的行为信号，却仍未被充分利用。它们的取值词表持续增长，语义含义又有限，因此现有基于词表或语义的编码都不适用。其可泛化信号并不在具体取值，而在这些身份标识跨交易序列呈现的行为模式。基于这一认识，我们提出 ID2Pattern，将这类模式引入交易基础模型。ID2Pattern 首先使用局部匿名 ID（LAID）分词器编码身份字段，刻画每个身份在序列中出现及重复出现的方式，而不依赖其具体取值。随后，在无标签序列上预训练多尺度模式码本，将 LAID 序列抽象为离散行为模式，用于下游预测。在一个包含逾 1 亿条序列的工业数据集和六个公开数据集上的实验表明，ID2Pattern 持续优于较强基线，在工业数据集和公开数据集上分别平均提升 4.13% 和 8.83%。值得注意的是，即使所有身份取值在训练中都未出现，ID2Pattern 仍同样有效，显示其向新用户和新市场泛化的潜力。