O que é Transformação de dados
Conversão de dados de um formato para outro
Transformação de dados é o processo de converter dados de seu formato ou estrutura de origem para um formato de destino para análise, integração ou armazenamento.
Tipos de transformações
- Estrutural — mudança de esquema de dados (normalização, desnormalização)
- Formato — conversão entre formatos (JSON, XML, CSV)
- Semântica — mapeamento para códigos de referência unificados
- Agregação — agrupamento e resumo de dados
- Limpeza — remoção de duplicatas, correção de erros
Processos ETL/ELT
A transformação é uma etapa chave nos pipelines ETL (Extract, Transform, Load) e ELT (Extract, Load, Transform) para carregar dados em data warehouses.
Ferramentas
- Apache Spark, Apache Beam
- dbt (data build tool)
- Talend, Informatica
- Python (pandas, PySpark)
Uma transformação de qualidade garante consistência de dados e prontidão para análise.