技术实践

松下统一企业数据接入并试点Genie定价问答

应用与实践结构化分析、预测与决策

概述

松下美国的中央数据团队要为销售、供应链、HR等业务单元充当数据底座,但旧有ETL管道与割裂数据仓难以支撑:SAP接入每天对100多张表全量刷新,数亿行大表加载需5-6小时,一年约故障10次,拖累晨报准时交付。团队迁到Databricks数据+AI平台,用Lakeflow Connect统一企业接入:与SAP Datasphere集成落文件到ADLS后以Auto Loader增量接入,据数据工程师自述,最大SAP表接入从数小时降到2分钟;Workday与SFTP连接器分别承接HR数据和日本总部的POS、供应链数据;SharePoint接入后用Document Intelligence处理上万个法律与供应商PDF,据其IT数据架构师自述,1万份合同与MSA从两周人工压缩到2-3小时。Unity Catalog支撑跨单元安全共享,silver表端到端处理约30分钟;退掉旧数仓、ETL与BI许可后TCO显著下降,BI分析师可直接取数,加载与刷新时间约省50%。AI方面,团队正实施Genie工作区,让非技术报价团队自助获取定价历史与预测洞察;据其数据科学家自述,这让小数据团队支撑全企业影响。