Mis on Andmete kvaliteet
Andmete täpsuse ja täielikkuse tagamine
Mis on andmete kvaliteet
Andmete kvaliteet on andmeomaduste kogum, mis määrab nende sobivuse kasutamiseks äriprotsessides ja analüütikas.
Andmekvaliteedi mõõtmed
| Mõõde | Kirjeldus | |-------|-----------| | Täpsus | Vastavus reaalsele maailmale | | Täielikkus | Täitmise aste | | Järjepidevus | Järjepidevus süsteemide vahel | | Ajakohasus | Värskus ja õigeaegsus | | Kehtivus | Vastavus ärireeglitele | | Unikaalsus | Duplikaatide puudumine |
Kontrollide tüübid
- Skeemi valideerimine — struktuuri kontroll
- Vahemiku kontrollid — väärtused lubatud piirides
- Mustri sobitamine — formaadi vastavus
- Viiteterviklus — suhete terviklus
- Ärireeglid — äriloogika
Tööriistad
| Tööriist | Tüüp | |----------|------| | Great Expectations | Pythoni raamistik | | dbt tests | SQL-põhine | | Apache Griffin | Avatud lähtekood | | Talend DQ | Ettevõtte | | Soda Core | Kaasaegne DQ |
Kvaliteedimõõdikud
- Andmekvaliteedi skoor (DQS)
- Veamäär välja kohta
- Täielikkuse protsent
- Värskus (aeg viimasest uuendusest)
Rakendustavad
- Andmete profiilimine vastuvõtul
- Automaatsed kontrollid torus
- Hoiatus kvaliteedi halvenemisel
- Data stewardship protsessid
- Andmesõnastiku dokumentatsioon