Hva er Datateknikk
Bygge datainfrastruktur
Hva er Datateknikk
Datateknikk er en disiplin fokusert på å designe, bygge og vedlikeholde systemer for å samle, lagre, behandle og levere data på organisasjonsnivå.
Nøkkeloppgaver
| Oppgave | Beskrivelse | |---------|-------------| | Datainnsamling | Samle data fra ulike kilder | | Datalagring | Design av datavarehus | | Databehandling | ETL/ELT-pipelines | | Orkestrering | Håndtering av avhengigheter og planlegging | | Datakvalitet | Overvåking av datakvalitet |
Teknologistabel
- Varehus: Snowflake, BigQuery, Redshift, Databricks
- Datainnsjøer: S3, Azure Data Lake, Delta Lake
- Behandling: Apache Spark, dbt, Airflow
- Strømming: Kafka, Flink, Kinesis
- Orkestrering: Airflow, Dagster, Prefect
Datapipeline-mønstre
| Mønster | Anvendelse | |---------|------------| | Batchbehandling | Periodisk behandling av store volumer | | Strømbehandling | Sanntidsbehandling av hendelser | | Lambda-arkitektur | Kombinasjon av batch og strøm | | ELT | Transformere etter lasting |
Dataingeniørens rolle
- Designe dataarkitektur
- Utvikle ETL/ELT-pipelines
- Optimalisere spørringsytelse
- Sikre tilgjengelighet og pålitelighet
- Automatisere dataarbeidsflyter
Suksessmålinger
- Dataaktualitet
- Pipeline-pålitelighet (SLA)
- Behandlingsforsinkelse
- Datakvalitetsscore
- Infrastrukturkostnadseffektivitet