Hva er Datakvalitet
Sikre datanøyaktighet og fullstendighet
Hva er Datakvalitet
Datakvalitet er et sett med dataegenskaper som bestemmer dens egnethet for bruk i forretningsprosesser og analyse.
Datakvalitetsdimensjoner
| Dimensjon | Beskrivelse | |-----------|-------------| | Nøyaktighet | Samsvar med virkeligheten | | Fullstendighet | Grad av utfylling | | Konsistens | Konsistens på tvers av systemer | | Aktualitet | Ferskhet og aktualitet | | Validitet | Samsvar med forretningsregler | | Unikhet | Ingen duplikater |
Typer kontroller
- Skjemavalidering — strukturverifisering
- Områdekontroller — verdier innenfor tillatte grenser
- Mønstermatching — formatoverensstemmelse
- Referanseintegritet — relasjonsintegritet
- Forretningsregler — forretningslogikk
Verktøy
| Verktøy | Type | |---------|------| | Great Expectations | Python-rammeverk | | dbt tests | SQL-basert | | Apache Griffin | Åpen kildekode | | Talend DQ | Enterprise | | Soda Core | Moderne DQ |
Kvalitetsmetrikker
- Datakvalitetsscore (DQS)
- Feilrate per felt
- Fullstendighetsprosent
- Ferskhet (tid siden siste oppdatering)
Implementeringspraksis
- Dataprofilering ved inntak
- Automatiserte kontroller i pipeline
- Varsling ved kvalitetsforringelse
- Data stewardship-prosesser
- Dataordbok-dokumentasjon