金融应用中多模态事件序列的基础模型

预测建模是现代金融服务的核心组成部分，传统上使用在手动设计的表格特征上训练的单独模型来解决各种任务。这种特定于任务的方法限制了重用，并且很难充分利用异构数据源，例如交易历史和数字交互信号。在本文中，我们提出了一种基于用户事件多模态序列预训练基础 Transformer 模型的方法。来自多个数据源的事件被统一为单个时间序列，从而能够早期融合异构模式并通过下一个事件预测目标学习通用表示。这些表示与现有的工程用户特征相结合，在此基础上针对多个下游任务训练轻量级神经模型。所提出的系统优于传统的特定于任务的模型，同时减少了开发开销。该方法已在东欧最大的银行之一的生产中部署，从而显着改善了业务指标。