PRAGMA：Revolut 基础模型

现代金融系统生成大量交易和事件级数据，这些数据编码了丰富的经济信号。本文介绍了 PRAGMA，这是一系列银行事件序列的基础模型。我们的方法使用针对财务记录的离散、可变长度性质定制的自我监督目标，对基于 Transformer 的架构进行预训练，并在大规模、异构的银行事件语料库上进行掩码建模。生成的模型支持广泛的下游任务，例如信用评分、欺诈检测和生命周期价值预测：通过在提取的嵌入之上训练简单的线性模型可以实现强大的性能，并且可以使用轻量级 微调 进一步改进。通过对下游任务的广泛评估，我们证明 PRAGMA 直接从原始事件序列跨多个领域实现了卓越的性能，为金融应用程序提供了通用表示层。