技术实践
Mirakl 用 Databricks 构建 Catalog Transformer 加速供应商目录接入
概述
Mirakl 是电商平台软件提供商,服务全球超过 10 万商户。据 Databricks 官网客户故事介绍,公司此前数据团队分立、缺乏统一数据源,且受数据治理约束——因客户数据不能送往第三方,探索大模型自动化时受限明显。为规模化落地生成式 AI,Mirakl 以 Databricks 为数据与机器学习底座:数据集中入 Delta 表,Unity Catalog 统一治理权限与血缘,MLflow 管理模型全生命周期。其核心应用 Catalog Transformer 是一条端到端的 GenAI 流水线,用 Lakeflow Jobs 编排多阶段任务,通过 Model Serving 混合调用 GPT、Llama、Mistral 与 CLIP 等多模态模型,对供应商目录数据做分类、抽取、富集与自动改写,Spark 并行处理使系统可同时处理数千 SKU;分层模型设计让团队只需改动几行配置即可在 OpenAI、Mistral AI、Anthropic 或微调开源模型间切换。官方称该方案把供应商目录接入周期从平均 28 天缩短到小时级,同时降低运营成本;具体统计口径未披露。