技术实践

Atlassian 基于 Databricks 重建安全湖仓并以 Genie 辅助事件响应

应用与实践行业应用

概述

Atlassian 是服务全球超过30万客户的协作软件公司,通过 Project Banyan 项目在 Databricks Data + AI 平台上以 Delta Lake、Unity Catalog 等组件构建 Security Lakehouse,替换保留期仅30天、按 GB 计费且曾在近1 PB 数据重建时宕机的传统 SIEM。安全数据按 OCSF 标准在上游清洗,检测逻辑迁移为开放的 PySpark 查询,Unity Catalog 执行集中式角色访问控制。落地结果包括:日志在线保留期从30天延长到12个月、可在1分钟内查询210亿条以上安全事件、Photon 将复杂查询从17秒降至5秒、摄取运维开销下降80%,Parquet 存储较 JSON 减少约20%。为降低分析师门槛,Atlassian 部署 Genie 会话式查询(内部称 OCSF Genie),初级分析师用自然语言提问即可自动转为查询。该体系月活用户超过9000人,公司正基于 Security Lakehouse 开发自主智能体,并与 Rovo、Genie Agents 集成推进自主威胁狩猎。