Hva er Datatransformasjon
Konvertering av data fra ett format til et annet
Datatransformasjon er prosessen med å konvertere data fra kildeformat eller -struktur til et målformat for analyse, integrasjon eller lagring.
Typer transformasjoner
- Strukturell — endring av dataskjema (normalisering, denormalisering)
- Format — konvertering mellom formater (JSON, XML, CSV)
- Semantisk — kartlegging til enhetlige referansekoder
- Aggregering — gruppering og oppsummering av data
- Rensing — fjerning av duplikater, korrigering av feil
ETL/ELT-prosesser
Transformasjon er et nøkkeltrinn i ETL- (Extract, Transform, Load) og ELT-rørledninger (Extract, Load, Transform) for å laste data til datavarehus.
Verktøy
- Apache Spark, Apache Beam
- dbt (data build tool)
- Talend, Informatica
- Python (pandas, PySpark)
Kvalitetstransformasjon sikrer datakonsistens og analyseberedskap.