Mis on Andmetehnika
Andmeinfrastruktuuri ehitamine
Mis on andmetehnika
Andmetehnika on valdkond, mis keskendub süsteemide kujundamisele, ehitamisele ja hooldamisele andmete kogumiseks, salvestamiseks, töötlemiseks ja edastamiseks organisatsiooni tasandil.
Põhiülesanded
| Ülesanne | Kirjeldus | |----------|-----------| | Andmete vastuvõtt | Andmete kogumine erinevatest allikatest | | Andmete salvestamine | Andmeladude kujundamine | | Andmete töötlemine | ETL/ELT torujuhtmed | | Orkestratsioon | Sõltuvuste ja ajakava haldamine | | Andmete kvaliteet | Andmekvaliteedi jälgimine |
Tehnoloogia virn
- Laod: Snowflake, BigQuery, Redshift, Databricks
- Andmejärved: S3, Azure Data Lake, Delta Lake
- Töötlemine: Apache Spark, dbt, Airflow
- Voogedastus: Kafka, Flink, Kinesis
- Orkestratsioon: Airflow, Dagster, Prefect
Andmetoru mustrid
| Muster | Rakendus | |--------|----------| | Paketttöötlus | Suurte mahtude perioodiline töötlemine | | Vootöötlus | Reaalajas sündmuste töötlemine | | Lambda arhitektuur | Paketi ja voo kombineerimine | | ELT | Teisendamine pärast laadimist |
Andmeinseneri roll
- Andmete arhitektuuri kujundamine
- ETL/ELT torujuhtmete arendamine
- Päringu jõudluse optimeerimine
- Kättesaadavuse ja usaldusväärsuse tagamine
- Andmete töövoogude automatiseerimine
Edu mõõdikud
- Andmete värskus
- Toru usaldusväärsus (SLA)
- Töötlemise latentsus
- Andmekvaliteedi skoor
- Taristu kulude tõhusus