Was ist Datentransformation
Konvertierung von Daten von einem Format in ein anderes
Datentransformation ist der Prozess der Konvertierung von Daten aus ihrem Quellformat oder ihrer Struktur in ein Zielformat für Analyse, Integration oder Speicherung.
Arten der Transformation
- Strukturell — Änderung des Datenschemas (Normalisierung, Denormalisierung)
- Format — Konvertierung zwischen Formaten (JSON, XML, CSV)
- Semantisch — Zuordnung zu einheitlichen Referenzcodes
- Aggregation — Gruppierung und Zusammenfassung von Daten
- Bereinigung — Entfernung von Duplikaten, Fehlerbehebung
ETL/ELT-Prozesse
Transformation ist ein wichtiger Schritt in ETL- (Extract, Transform, Load) und ELT-Pipelines (Extract, Load, Transform) zum Laden von Daten in Data Warehouses.
Werkzeuge
- Apache Spark, Apache Beam
- dbt (data build tool)
- Talend, Informatica
- Python (pandas, PySpark)
Qualitätstransformation gewährleistet Datenkonsistenz und Analysefähigkeit.