Mis on Andmete päritolu
Andmete päritolu jälgimine
Mis on andmete päritolu
Andmete päritolu on andmete täieliku tee jälgimine allikast tarbijani, sealhulgas kõik teisendused, agregeerimised ja liikumised süsteemide vahel.
Päritolu tüübid
| Tüüp | Kirjeldus | |------|-----------| | Tehniline päritolu | Tabeli, veeru, SQL tasemel | | Äriline päritolu | Äriterminid ja KPI-d | | Operatiivne päritolu | Tööd, ajakavad, sõltuvused | | Veerutase | Väljataseme teisendused |
Miks Päritolu on Oluline
- Mõjuanalüüs — mis läheb katki muutmisel
- Algpõhjuse analüüs — kust viga tuli
- Vastavus — GDPR, SOX järgimine
- Dokumentatsioon — andmete mõistmine
- Migratsioon — üleminekute planeerimine
Tööriistad
| Tööriist | Omadused | |----------|----------| | Apache Atlas | Avatud lähtekood, Hadoop | | OpenLineage | Standard, integratsioonid | | DataHub | LinkedIn, graafiline | | Atlan | Kaasaegne andmekataloog | | Collibra | Ettevõtte |
Automaatne Päritolu Kogumine
- SQL parsimine — päringu analüüs
- API integratsioonid — Airflow, dbt, Spark
- Logi analüüs — töötlussüsteemidest
- Metaandmete kogumine — kataloogidest
Visualiseerimine
- Sõltuvusgraafikud
- Üles-/allavoolu analüüs
- Mõjuhinnang
- Teisenduse ajajoon
Praktilised Rakendused
- Andmeprobleemide silumine
- Vastavusaruandlus
- Andmemigratsiooni planeerimine
- Uute töötajate sissejuhatus
- Andmevarade dokumentatsioon