Databricks 数据治理团队自研 LogSentinel 以 LLM 检测分类 PII

Databricks 内部日志与数据集持续变化——模式演进、新列出现、语义漂移，敏感数据标注容易过期失真。其治理团队因此在自家平台上构建 LogSentinel，一个以 LLM 驱动的数据分类系统：自动检测并分类日志与数据库中的 PII 等敏感数据，采用分层、数据驻留感知、多模型协同的分类方式精确打标；通过预标注列与持续检测标注漂移，把高质量标签喂给治理与安全控制，实现自动化策略执行和更快的合规流程，并用 MLflow 跟踪实验、长期监控性能。团队正把 LogSentinel 验证过的做法直接集成进 Databricks Data Classification 产品，供客户使用。该文为 Databricks 官方博客自述，属自产自用的内部系统实践，摘录未给出准确率、召回率等量化指标，效果表述以机制和能力为主。