技术实践
Databricks用 Unity Catalog 治理内部 10 万+ 张表,并给出与 AI 就绪度挂钩的数据治理评分
概述
Databricks 内部湖仓有超过10万张表,覆盖工程、GTM、HR、财务与产品遥测。据介绍,此前各团队访问方式不一、分类缺失或不完整,合规审查时安全、法务与工程要靠翻表格回答基础问题,新AI项目也因无法确认数据集是否满足隐私要求而停滞。数据平台团队以 Unity Catalog 早期客户身份重建治理:在目录级建立统一分类模型,每张表按五级敏感度与业务域打标;基于其安全API自研内部平台 Fortress,提供说明用途、限时到期、全程可审计的访问控制,取消永久授权;再构建 Data Governance Score,从文档、可靠性、治理三个维度为每个数据集持续打0-100信任分,并沿血缘向下游传播,上游失分则依赖表同步反映。配套还有 Lakeflow Connect 摄取SaaS数据、AI/BI Genie 与 Databricks Apps 支撑自助分析、指标视图统一全公司口径。官方称,10万余张表如今持续扫描,合规从「救火」转为实时发现薄弱环节,训练模型前查评分即可判断数据是否达标。