คืออะไร การแปลงข้อมูล
การแปลงข้อมูลจากรูปแบบหนึ่งเป็นอีกรูปแบบหนึ่ง
การแปลงข้อมูล คือกระบวนการแปลงข้อมูลจากรูปแบบหรือโครงสร้างต้นทางเป็นรูปแบบเป้าหมายเพื่อการวิเคราะห์ การรวม หรือการจัดเก็บ
ประเภทของการแปลง
- โครงสร้าง — การเปลี่ยนสคีมาข้อมูล (การทำให้เป็นมาตรฐาน, การยกเลิกมาตรฐาน)
- รูปแบบ — การแปลงระหว่างรูปแบบ (JSON, XML, CSV)
- ความหมาย — การแมปไปยังรหัสอ้างอิงรวม
- การรวม — การจัดกลุ่มและสรุปข้อมูล
- การทำความสะอาด — การลบรายการซ้ำ, แก้ไขข้อผิดพลาด
กระบวนการ ETL/ELT
การแปลงเป็นขั้นตอนสำคัญในไปป์ไลน์ ETL (Extract, Transform, Load) และ ELT (Extract, Load, Transform) สำหรับโหลดข้อมูลเข้าสู่คลังข้อมูล
เครื่องมือ
- Apache Spark, Apache Beam
- dbt (data build tool)
- Talend, Informatica
- Python (pandas, PySpark)
การแปลงที่มีคุณภาพรับประกันความสอดคล้องของข้อมูลและความพร้อมสำหรับการวิเคราะห์