Coinbase将反欺诈模型接入Spark实时计算

Coinbase 以机器学习支撑实时反欺诈与反洗钱风控，要求亚秒级精度。据介绍，此前团队已把 Spark Structured Streaming 微批模式压到约800-900毫秒的新鲜度极限，但运维负担沉重，延迟还会破坏线上/线下特征一致性，拖累多个风控模型准确率。团队随后将关键风控模型迁移到 Databricks 上的 Spark Real-Time Mode：工程上只需修改触发器类型，核心业务逻辑不动，即从800毫秒以上降至100-250毫秒。为平滑落地，平台团队配套持续集成（CI）护栏，并构建AI智能体自动完成流式特征配置，把 RTM 接入既有特征库。官方称，迁移后无状态与有状态流式特征聚合延迟分别为150毫秒和250毫秒，端到端延迟下降80%以上、P99低于100毫秒，一个统一 Spark 引擎计算250多个ML特征，线上/线下特征一致性最多改善98%；微批所需的专用重配置集群退役后计算成本减半，团队预计当年可节省51%计算成本。工程师称，ML工程师无需学习 RTM 细节即可坐享数据新鲜度与一致性收益。