技术实践
华盛顿特区 OCTO 以 Delta Sharing 实现跨机构数据协作并试点法规自然语言检索
概述
背景与问题:据Databricks客户故事,华盛顿特区OCTO作为集中式IT机构服务约80个政府机构;2017年自建的Hadoop裸金属数据湖随传感器与非结构化数据增长而难以维护,跨机构共享靠一次性集成与自定义API,复制越多治理越慢,首席数据官Matt Sokol称过去连点击上传都做不到,部分机构不愿数据被复制他处。方案与落地:OCTO在特区Azure环境部署Databricks平台,以Unity Catalog统一治理、建立铜银金分层,并将Delta Sharing作为企业服务——数据所有方按特定目的授权、不交付副本、工作结束即收回,Oracle、SQL Server等原生连接器替代自定义集成;教育副市长项目借此打通6个机构数据,首次量化7万余名教育与就业项目受助居民的工资结果,Amazon Connect呼叫中心数据也集中入库。效果与数据:官方称一年多接入10个机构、超过旧系统7年的采纳量,平台成本较此前许可约降50%,部署从数周缩至1-2天;AI仍在早期,OCTO开始探索Agent Bricks做法规自然语言检索的概念验证,将法规文件向量化、提问后返回带链接结果。