什么是 数据血缘
追踪数据来源
什么是数据血缘
数据血缘是追踪数据从源头到消费者的完整路径,包括系统间的所有转换、聚合和移动。
血缘类型
| 类型 | 描述 | |------|------| | 技术血缘 | 表、列、SQL级别 | | 业务血缘 | 业务术语和KPI | | 操作血缘 | 作业、调度、依赖 | | 列级 | 字段级转换 |
为什么数据血缘重要
- 影响分析 — 更改时会影响什么
- 根本原因分析 — 错误来自哪里
- 合规性 — GDPR、SOX遵守
- 文档 — 理解数据
- 迁移 — 规划过渡
工具
| 工具 | 特点 | |------|------| | Apache Atlas | 开源、Hadoop | | OpenLineage | 标准、集成 | | DataHub | LinkedIn、基于图 | | Atlan | 现代数据目录 | | Collibra | 企业级 |
自动血缘收集
- SQL解析 — 查询分析
- API集成 — 来自Airflow、dbt、Spark
- 日志分析 — 来自处理系统
- 元数据采集 — 来自目录
可视化
- 依赖图
- 上游/下游分析
- 影响评估
- 转换时间线
实际应用
- 调试数据问题
- 合规报告
- 数据迁移规划
- 新员工入职
- 数据资产文档