Mikä on Datatekniikka
Datainfrastruktuurin rakentaminen
Mikä on datatekniikka
Datatekniikka on tieteenala, joka keskittyy järjestelmien suunnitteluun, rakentamiseen ja ylläpitoon datan keräämistä, tallentamista, käsittelyä ja toimittamista varten organisaatiotasolla.
Keskeiset tehtävät
| Tehtävä | Kuvaus | |---------|--------| | Datan sisäänotto | Datan kerääminen eri lähteistä | | Datan tallennus | Tietovarastojen suunnittelu | | Datan käsittely | ETL/ELT-putket | | Orkestrointi | Riippuvuuksien ja aikataulutuksen hallinta | | Datan laatu | Datan laadun valvonta |
Teknologiapino
- Varastot: Snowflake, BigQuery, Redshift, Databricks
- Datajärvet: S3, Azure Data Lake, Delta Lake
- Käsittely: Apache Spark, dbt, Airflow
- Suoratoisto: Kafka, Flink, Kinesis
- Orkestrointi: Airflow, Dagster, Prefect
Dataputken mallit
| Malli | Sovellus | |-------|----------| | Eräkäsittely | Suurten volyymien jaksottainen käsittely | | Virtakäsittely | Reaaliaikainen tapahtumakäsittely | | Lambda-arkkitehtuuri | Erä- ja virtakäsittelyn yhdistelmä | | ELT | Muunnos latauksen jälkeen |
Datainsinöörin rooli
- Data-arkkitehtuurin suunnittelu
- ETL/ELT-putkien kehitys
- Kyselysuorituskyvyn optimointi
- Saatavuuden ja luotettavuuden varmistaminen
- Datatyönkulkujen automatisointi
Onnistumismittarit
- Datan tuoreus
- Putken luotettavuus (SLA)
- Käsittelyviive
- Datan laatupisteet
- Infrastruktuurin kustannustehokkuus